ローカルAI– tag –

Microsoft発のbitnet.cppで、GPUなし・CPUだけでLLMを動かす方法を完全解説。1ビット推論の仕組み、対応モデル、インストール手順、llama.cppとの比較まで網羅。

M2 MacBook Air（8GB）でmlx-vlm v0.4.3の5モデルを実測。Falcon-OCR、Qwen2.5-VL-3B、Gemma 4の動作検証結果とメモリ使用量を公開。

話題のMoonshine Voice v2とWhisper/Faster-Whisperを、Teams会議の録画データで実測比較。レイテンシ・精度・メモリを11モデルで計測した結果と、用途別の使い分けを解説。