KV(키-밸류) 캐시는 대형언어모델이 텍스트를 생성하면서 저장하는 중간 데이터로, 새 토큰마다 앞 토큰을 다시 계산하지 않게 해준다. 문맥 창과 사용자 세션이 커질수록 KV 캐시도 부풀고, 이걸 전부 비싼 D램에 담으면 데이터센터 비용이 늘어난다. 그래서 더 빠른 낝드로 넘기려는 움직임이 나오며, 이 용어가 메모리주 수요와 연결된다.