모델을 실제로 서비스하려면 여러 요청을 묶어 처리하고 KV 캐시를 관리하는 별도의 소프트웨어가 필요한데, vLLM이 그 자리를 맡는 대표 오픈소스다. 새 모델이 나올 때 vLLM이 같은 날 지원을 붙이면 그 모델을 곧바로 자체 서버에서 돌릴 수 있다는 뜻이다. 어떤 모델 구조가 메모리를 얼마나 쓰는지도 이 엔진의 구현을 통해 현실 수치로 드러난다.