KV（キーバリュー）キャッシュは、大規模言語モデルがテキスト生成中に保存する中間データで、新しいトークンごとに前のトークンを再計算せずに済む。文脈窓やユーザーセッションが大きくなるほどKVキャッシュも膨張し、すべてを高価なDRAMに置くとコストがかさむ。そのため高速NANDへ退避する動きが出ており、メモリ株の需要に関わる。