루빈 랙 메모리 비중이 26%로 뛰었다, 블랙웰 때는 9%였다

엔비디아의 차세대 AI 서버 랙 '베라 루빈'에서 메모리 비용이 전체 부품원가의 26%까지 올랐다. 모건스탠리 추정에 따르면 전 세대 그레이스 블랙웰 랙에서는 이 비중이 9%에 그쳤다. 반도체 애널리스트 주칸은 대만 푸본증권 등 여러 리서치의 체크를 인용해 이 변화를 전했다. 푸본증권에 따르면 마이크론(MU) 쪽 점검 결과 엔비디아 HBM4 원가는 1기가바이트당 17~18달러(HBM3E 기준)에서 31~32달러로 뛸 전망이다. 이 여파로 루빈 GPU 한 개 가격이 7만8000~8만달러까지 치솟을 수 있다는 추정도 나왔다.

왜 메모리가 이렇게 비싸졌나

모건스탠리가 추정한 랙 하나(GPU 72개, 36개 슈퍼칩)의 부품원가는 약 780만달러다. 이 중 GPU가 약 400만달러(블랙웰 대비 57% 증가), 메모리(HBM4·LPDDR5X)가 약 200만달러다. 그레이스 블랙웰 때 메모리 비용은 37만4000달러였으니, 5배 넘게 뛴 셈이다.

번스타인은 조정 없이 가면 메모리가 부품원가의 29%까지 차지할 것으로 보고, 목표치인 20% 선까지 낮추려면 메모리 구성 자체를 줄여야 한다고 짚었다. 실제로 GF증권 점검에 따르면 엔비디아는 CPU에 붙는 저용량 메모리(SOCAMM) 용량을 192GB에서 96GB로, 베라 CPU 메모리도 54~55테라바이트에서 28테라바이트로 줄이는 방안을 검토 중이다. 다만 GPU에 직접 붙는 HBM4 용량(랙당 20.7테라바이트)은 그대로 둔다.

그래도 엔비디아가 물러서지 않는 이유

주칸이 전한 체크에 따르면, 원가가 뛰어도 엔비디아는 랙 구성(GPU 72개, 스케일업은 케이블, 스케일아웃은 광통신)을 바꾸지 않을 계획이다. 이유는 토큰 비용이다. 블랙웰이 150메가와트로 초당 8만 토큰을 처리한다면, 루빈은 같은 전력대에서 초당 80만 토큰, 약 10배를 처리한다. 클라우드 업체 입장에서는 GPU 값이 올라도 토큰당 비용이 떨어지면 여전히 남는 장사라는 뜻이다.

경쟁사도 같은 벽에 부딪힌다

주칸이 전한 체크에는 구글과 인텔 얘기도 있었다. 구글은 2028년까지 자체 AI칩(TPU) 1200만~1500만개를 도입할 계획이고, 그해부터는 4개 다이를 얹은 9세대 TPU로 넘어가 처리량이 두 배 넘게 늘어난다. 인텔의 첨단 패키징(EMIB) 생산능력은 올해 말 1만~1만2000개에서 내년 말 2만4000~2만5000개로 두 배가 될 전망이다. 메모리·패키징 병목은 엔비디아만의 문제가 아니라는 뜻이다.

그래서 무엇으로 가릴까

결국 질문은 하나다. 메모리값 상승분을 토큰당 비용 절감이 얼마나 벌충해 주느냐다. 판별 기준은 이렇다. 클라우드 업체들이 루빈을 예정대로(3분기 출하, 4분기 본격 양산) 받아 가면 토큰 비용 논리가 이긴 것이고, 만약 도입이 늦춰지거나 축소되면 메모리값이 진짜 발목을 잡은 것이다.