ローカルLLM– category –

FreeTokenをarXiv論文とGitHub公式ドキュメントで検証。8GB GPUで35Bが39.3 tok/s動くのは事実ですが、同じ機材にhost RAM 32GBが載っています。報道の速度比較表が別モデルの数値だった件と、macOS非対応の現状を実測ベースで解説します。

Qwen3.8-27BをM5 MacBook Pro 16GBで実測。IQ3_XXS（10.93GB）はdecode 0.22 tok/s、Q2_K_XL（9.83GB）は2.47〜4.52 tok/s。1.1GBの差で20倍変わる境界線とOllamaの設定手順を解説します。

Microsoft発のbitnet.cppで、GPUなし・CPUだけでLLMを動かす方法を完全解説。1ビット推論の仕組み、対応モデル、インストール手順、llama.cppとの比較まで網羅。

ローカルLLMの導入から活用まで完全解説。Ollama・LM Studio・Claude Codeとの連携、Windows環境セットアップ、よくある質問まで網羅。API費用ゼロでAI開発を始める方法を製造業SEエンジニアが実機検証。