モデルを実サービスで動かすには、複数のリクエストをまとめKVキャッシュを管理するソフトウェアが要る。その役割を担う代表的なオープンソースがvLLMだ。新しいモデルの公開日にvLLMが対応を出せば、そのモデルをすぐ自前のサーバーで動かせることを意味する。どの構造がどれだけメモリを使うかも、この実装を通じて現実の数値として見えてくる。