GPUs are getting three times faster every two years, while storage is failing to keep pace.
The criterion for selecting storage media has expanded from $/TB to $/GPU-hour.
AI 모델 학습에서 저장장치를 고르는 기준이 '테라바이트(TB)당 가격'에서 'GPU 가동시간당 비용'으로 바뀌고 있다는 분석을, 반도체 애널리스트 주칸이 메타 엔지니어링 블로그 글을 풀어 소개했다. 메타는 자사 엔지니어링 블로그에 AI 인프라용 저장장치 설계 방식을 공개했고, 몇 시간 뒤 마이크론도 메타와 관련된 백서를 냈다고 주칸이 뒤이어 전했다. 엔비디아 GPU 같은 AI 연산 칩의 처리 속도는 2년마다 세 배 가까이 빨라지고 있는데, 데이터를 공급하는 저장장치와 통신망의 속도는 그만큼 따라오지 못하고 있다. GPU가 계산할 데이터를 제때 받지 못하면 비싼 GPU가 놀게 된다. 메타는 이 현상이 AI 인프라에서 GPU를 놀리는 가장 큰 원인 중 하나라고 설명했다.
지금까지 저장장치는 '1테라바이트를 얼마나 싸게 저장하느냐'(달러/TB)로 평가받았다. 그런데 AI 학습에서는 저장장치가 느려 GPU가 노는 시간이 늘면, 그 손실이 저장장치에서 아낀 돈보다 커질 수 있다. 그래서 메타 엔지니어링팀은 저장장치의 값어치를 '얼마나 GPU를 쉬지 않게 해주느냐'(달러/GPU 가동시간)로 다시 재야 한다고 주장한다. 공장에 비유하면 쉽다. 값싼 부품을 아끼려다 조립 라인 전체가 멈추면, 부품값을 아낀 것보다 라인이 멈춘 손해가 훨씬 크다. GPU 한 시간 가동 비용이 저장장치를 아껴서 번 돈보다 훨씬 크기 때문에, 계산이 이렇게 뒤집힌다. 이 기준이 업계 표준으로 자리잡으면, 처리 속도가 빠른 고성능 낸드(전원이 꺼져도 데이터가 남는 저장용 반도체) 제조사들이 '더 비싸도 GPU를 덜 놀리는' 제품으로 가격을 정당화하기 쉬워진다. 단순 용량 경쟁이 아니라 속도 경쟁으로 무게중심이 옮겨간다는 뜻이다. 마이크론이 이 논지를 메타와 함께 백서로 냈다는 사실 자체가, 저장장치 업계가 이 프레임을 마케팅에도 쓰기 시작했다는 신호로 읽힌다.
Why it matters · 이 기준이 굳어지면 저장장치 경쟁의 축이 용량에서 속도로 옮겨가고, 그 수혜는 처리 속도가 앞선 고성능 낸드 제조사에게 갈 수 있다.
짚어볼 점 · GPU 가동시간당 비용이라는 새 잣대, 저장장치 시장의 승자를 바꿀까?