推論– tag –

LLMが2回目から速いのはKVキャッシュのおかげ。Qを保存しない理由、メモリ量の計算式、実測761倍の再利用まで平易に解説し、NVIDIAがキャッシュをモデル間で移植する新論文（2.7〜25倍速）まで読み切ります。