ローカルLLM– tag –

Geminiをオンプレで動かすGDCは、評価構成だけで月30万ドルからです。多くの会社は、有料契約と東京リージョンか、ローカルLLMで足ります。Geminiの7つの使い方ごとにデータの行き先を一次情報で比べ、選び方を表にしました。

LM Studioは社内業務なら無料で使えますが、SaaS提供や再配布は規約でNGです。載せるモデルのライセンスは別に確認が要ります。2026年10月時点の条文とモデル別の表、稟議に貼る1枚を整理。

Ollamaを他のPCから使う方法を、届く範囲の狭い順に5つ（SSHトンネル・VPN・LANのIP指定とファイアウォール・認証付きプロキシ）で整理。Mac・Linux・WindowsのOLLAMA_HOST設定、Dockerがufwを素通りする理由、外から見えていないかの確認方法まで。

Ollama Cloudの「Pro」は週次セッション上限のレガシーと、月次クレジット＋トークン課金の新プランが並存する。公式ブログと料金ページ、2026年9月20日のUsage画面実測から違いを整理します。

16GB Macで27BクラスのローカルLLMは動くのか。Q4のQwen3.8-27Bはスワップ死した実測から、三値量子化のBonsai 2 27B（5.95GB）なら14.6 tok/sで動くまでを形式別ベンチ3種で解説。llama.cpp fork必須の落とし穴も。

マイコンで動く0.65MBの日本語TTS「SanoTTS-JP」と3GBのIrodori-TTSを同じ13文で聴き比べ。速さは約270倍、聞き取り誤りは10.7%対0.25%。半角の数字と英字が無音で消える落とし穴と、全角化での回避法まで実音声つきで紹介。

DeepSeek Harnessのキャッシュヒット率がOllamaで表示されない理由を実測と一次情報で解説。prompt_eval_countは不変、prompt_eval_durationは31.983秒→0.042秒。vLLM・SGLangでの計測フラグも紹介します。

ローカルTTS（Irodori-TTS v4.1-Small）で自分専用のAIニュースPodcastを61日間運用した実測ログ。41本・12.2時間・台本173,399字。英字残存20.8%の失敗と、生成が音声長の2.5〜3倍かかる現実まで公開。

FreeTokenをarXiv論文とGitHub公式ドキュメントで検証。8GB GPUで35Bが39.3 tok/s動くのは事実ですが、同じ機材にhost RAM 32GBが載っています。報道の速度比較表が別モデルの数値だった件と、macOS非対応の現状を実測ベースで解説します。

Qwen3.8-27BをM5 MacBook Pro 16GBで実測。IQ3_XXS（10.93GB）はdecode 0.22 tok/s、Q2_K_XL（9.83GB）は2.47〜4.52 tok/s。1.1GBの差で20倍変わる境界線とOllamaの設定手順を解説します。