엔비디아가 200억달러 주고 산 속도를, 무료 소프트웨어가 먼저 낸 걸까?

엔비디아 B200 여덟 장을 묶은 서버가 사용자 한 명에게 낼 수 있는 속도의 이론상 한계는 초당 3,047개 토큰이다. 메모리 대역폭만 놓고 계산한 값인데, 실제 추론 엔진은 그 근처에도 못 간다.

대역폭은 늘었는데 지연은 그대로다

GPU가 계산을 하려면 커널이라는 작은 작업 단위를 올려 보내고, 끝나면 내리고, 다음 것을 다시 올린다. 한 번 올리고 내리는 데 걸리는 시간은 아주 짧다. 문제는 답 한 글자를 만드는 데 걸리는 시간 자체가 1밀리초 아래로 내려가면, 그 짧은 시간이 전체에서 차지하는 비중이 커진다는 것이다. 세미애널리시스는 여기에 한 줄을 덧붙였다. GPU의 메모리 대역폭은 세대마다 두세 배씩 늘었지만 메모리 지연은 전혀 좋아지지 않았다는 것이다. 빠른 길을 넓게 깔아 놓고도 출발 신호가 늦으면 도착 시간이 안 줄어드는 것과 같다.

커널을 한 번만 띄우면

TileRT가 한 일은 답을 만드는 과정 전체를 미리 컴파일해 커널 하나로 굳히는 것이다. 올리고 내리는 일이 사라지니 계산과 메모리 읽기, 통신이 서로 겹쳐 돌아간다. 같은 B200 서버 한 대에서 초당 500토큰이 나왔고, 이는 훨씬 큰 GB300 NVL72에서 기존 엔진을 돌린 것보다 약 세 배 빠른 값이라고 세미애널리시스는 전했다. 같은 비용을 쓸 때 기준으로는 두 배까지 빨라진다. 이 소프트웨어는 타일랭이라는 언어를 만든 팀이 내놓은 것으로, 깃허브에 MIT 라이선스로 공개돼 있다. 샤오미와 Z.ai가 이미 자사 서비스의 고속 모드에 쓰고 있다.

엔비디아가 그록에 낸 200억달러

왜 속도에 돈이 걸리는지는 가격표가 말해 준다.

더 레지스터는 지난 3월 이 구조를 이렇게 정리했다. 추론 사업의 이익은 한 대에서 몇 명을 받느냐와 한 명에게 얼마나 빨리 답하느냐 사이의 맞바꿈에서 나오고, 둘을 동시에 최대로 만들 수는 없다는 것이다. 그 맞바꿈의 조건을 바꾸는 물건이 그동안은 전용 칩이었다.

엔비디아, 그록과 200억달러 규모 계약 확인 (톰스하드웨어, 2025-12-29)

출처: tomshardware.com

엔비디아는 지난해 12월 그록과 비독점 기술 라이선스 계약을 맺었다고 밝혔고, 규모는 200억달러로 전해졌다. 세레브라스는 올해 5월 공모가 185달러로 나스닥에 상장했고, 1분기 핵심 매출은 1억9,130만달러였다. 지연을 줄이는 능력에 그만한 값이 매겨져 있다는 뜻이다. 그래서 이 글이 던지는 질문은 하드웨어와 소프트웨어 중 어느 쪽이 이기느냐가 아니라, 남은 격차가 얼마나 되느냐다. GPU 위의 무료 소프트웨어가 전용 칩 근처까지 따라오면 전용 칩이 받던 웃돈은 그 격차만큼으로 줄어든다. 세레브라스가 올해 가이던스인 8억5,500만달러를 채우면 웃돈이 아직 살아 있는 것이고, 못 채우면 소프트웨어가 그 자리를 먼저 가져갔다는 첫 증거가 된다.