키미 K3가 아낀 메모리는 실제 서버까지 그대로 오지 않는다
Kimi Linear는 성능과 효율의 균형을 맞추는 이상적인 KDA 대 MLA 비율이 3대 1임을 보여 주었다.
이는 KDA 같은 선형 어텐션이 KV 캐시 메모리 사용량을 크게 줄이더라도, 실제 운영 중에는 일정한 양의 KV 캐시 메모리만 쓰지는 않는다는 것을 보여 준다.
문샷AI가 7월 27일 가중치를 공개한 키미 K3를 뜯어본 분석이 나왔다. 이 모델이 어텐션을 두 종류로 섞어 쓰는 이유는 성능이 아니라 메모리였다.
키미 K3가 왔다: vLLM의 당일 지원 (vLLM 블로그, 2026-07-27)키미 K3를 실제로 돌리는 추론 엔진 vLLM은 이 구조를 두고 "커지는 KV 캐시 대신 고정 크기의 순환 상태를 유지하는 선형 어텐션"이라고 적었다.
캐시가 자라지 않는다는 말
말을 이어 만드는 모델은 앞서 읽은 내용을 매번 다시 계산하지 않으려고 중간 결과를 들고 있는다. 그 짐이 KV 캐시다. 대화가 길어질수록 짐은 비례해서 무거워지고, 그 무게는 그대로 GPU 메모리를 먹는다. 선형 어텐션은 앞의 내용을 하나의 고정된 상태로 눌러 담는다. 문장이 아무리 길어져도 짐의 크기가 변하지 않는다는 뜻이다. 키미 K3는 이 방식과 앞을 전부 기억하는 기존 방식을 3대 1로 번갈아 쌓았다. 총 2조8,000억개 규모의 매개변수 가운데 토큰 하나에 실제로 쓰이는 것은 일부이고, 한 번에 읽을 수 있는 길이는 100만 토큰이다.
32,000토큰마다 한 번씩 붙잡아 둔다
여기에 실제로 서비스할 때의 사정이 하나 걸린다. 같은 대화의 앞부분을 다시 쓰려면 그 지점의 상태가 저장돼 있어야 한다. 그런데 고정 상태는 지나가면 덮어써지므로, 되돌아갈 자리를 따로 남겨야 한다. vLLM은 일정 간격마다 상태를 체크포인트로 남기는 방식을 쓴다고 적었고, 예로 든 간격이 32,000토큰이다. 이 값은 설정으로 바꿀 수 있는 기본 예시이지 못박힌 상수가 아니다. 간격을 좁히면 메모리가 늘고, 넓히면 다음 요청이 앞부분을 다시 계산한다. 그래서 실제로 서비스할 때 이 모델의 메모리 사용량은 상수로 유지되지 않는다.
짐이 한 칸 내려갈 때마다 첫 글자가 나오기까지 걸리는 시간이 길어진다. 캐시를 줄이는 기술에 값이 붙는 자리가 이 계단이다.
값이 싸다는 것과 메모리를 덜 쓴다는 것
키미 K3는 공개 직후 아티피셜애널리시스의 종합 지능 지수에서 3위에 올랐다. 같은 집계에서 태스크 하나를 처리하는 비용은 아래와 같이 갈렸다.
성적이 비슷한 자리에 있는 모델끼리도 값은 두 배 가까이 벌어진다. 오픈웨이트 모델이 팔리는 이유가 성능이 아니라 이 칸에 있다.
Artificial Analysis 종합 지능 지수 집계 (2026-07-17 공개 · 2026-08-05 조회)
키미 K3, 아티피셜애널리시스 지능 지수 3위에 오르다 (Artificial Analysis, 2026-07-17)아티피셜애널리시스는 키미 K3의 성적이 오퍼스 4.8과 GPT-5.5에 견줄 만하고, 그보다 위에 있는 모델은 둘뿐이라고 적었다. 값이 싸지는 경로가 칩을 더 사는 쪽이 아니라 같은 답을 더 적은 메모리로 뽑는 쪽으로 옮겨 가고 있다는 뜻이다. 다만 아낀 메모리가 그대로 수요 감소로 이어지지는 않는다. 캐시가 가벼워지면 같은 장비로 더 긴 문맥과 더 많은 동시 사용자를 받게 되고, 그러면 아낀 자리는 다시 채워진다.
문샷이 라이선스에 그어 놓은 선
가중치는 공개돼 있지만 아무나 이걸로 장사할 수 있는 것은 아니다. 개발자 사이먼 윌리슨은 연매출 2,000만달러가 넘는 서비스 사업자는 문샷과 별도 상업 계약을 맺어야 한다고 짚었다. 직접 돌려 쓰는 쪽에는 열려 있고, 이 모델을 팔아 돈을 버는 쪽에는 문이 반쯤 닫혀 있다. 다음 모델이 이 구조를 어느 쪽으로 미는지가 갈림길이다. 문샷이 키미 K4에서 앞을 전부 기억하는 층까지 걷어내면 메모리를 줄이는 쪽에 승부를 건 것이고, 반대로 그 층을 다시 늘리면 캐시를 줄여 얻는 이득이 실제 운영에서 생각만큼 크지 않았다는 뜻이다.
- 키미 K3는 KV 캐시가 커지지 않는 선형 어텐션과 기존 어텐션을 3대 1로 섞어 쌓았다.
- 겉으로 보면 대화가 길어질수록 메모리를 아끼는 구조다.
- 그런데 앞부분을 재사용하려면 상태를 주기적으로 저장해야 해서, 실제로 돌릴 때의 메모리는 상수로 유지되지 않는다.
출처
- 원문 SemiAnalysis, Kimi K3, The Manos, The Mythos, The Legendos · 2026-08-03
- vLLM 블로그 Kimi K3 Is Here: Efficient Day-0 Support on vLLM · 2026-07-27 · 고정 크기 순환 상태와 32,000토큰 체크포인트 간격의 1차 출처
- Artificial Analysis 종합 지능 지수 3위, 태스크당 비용 0.94달러 집계 · 2026-07-17 공개 · 2026-08-05 조회
- 사이먼 윌리슨 키미 K3 라이선스 해설 · 연매출 2,000만달러 초과 사업자의 상업 계약 조건 · 2026-07-27
2026-08-05 조회 · 비용과 순위는 Artificial Analysis의 2026-07-17 공개 시점 집계 · 매개변수와 문맥 길이는 문샷AI 공개 사양이며 토큰당 실제 사용 규모는 공식 수치가 없다.
이 필진의 기록
- 강세AMD에 박했던 세미애널리시스가 '유력'으로 돌아섰다. 정말 CUDA 해자를 넘을까?
- 강세세미애널리시스: 엔비디아 차세대 루빈 칩, 현재 블랙웰 대비 성능 대비 가격 5배, 초기 데이터 기준
- 약세세미애널리시스 "메타 인프라팀, 정치적 비효율로 수십억 달러 낭비하고 AMD 거래까지 위태롭게 해"