エヌビディアが200億ドルで買った速さに、無料のソフトが先に届いたのか?

エヌビディアのB200を8枚束ねたサーバーが利用者1人に出せる速度の理論上の上限は、毎秒3,047トークンだ。 メモリー帯域幅だけで計算した値だが、実際の推論エンジンはその近くにも届かない。

帯域幅は増えたが遅延は変わらない

GPUが計算をするには、カーネルという小さな作業単位を送り込み、終われば下ろし、次をまた送り込む。 一度上げて下ろすのにかかる時間はごく短い。 問題は、答えの一片を作る時間そのものが1ミリ秒を下回ると、そのごく短い時間が全体に占める割合が大きくなることだ。 セミアナリシスはここに一行を加えている。 GPUのメモリー帯域幅は世代ごとに2~3倍に増えてきたが、メモリーの遅延はまったく改善していないという。 道を広く敷いても、出発の合図が遅ければ到着時刻は縮まらないのと同じだ。

カーネルを一度だけ起動すれば

TileRTがしたのは、答えを作る工程全体を事前にコンパイルし、一つのカーネルに固めることだ。 起動と終了がなくなるので、計算とメモリー読み出しと通信が互いに重なって走る。 同じB200サーバー1台で毎秒500トークンが出ており、これははるかに大きなGB300 NVL72で従来のエンジンを動かした場合より約3倍速い値だとセミアナリシスは伝えた。 同じ費用を使う条件では2倍まで速くなる。 このソフトウェアはタイルラングという言語を作ったチームが出したもので、GitHubにMITライセンスで公開されている。 シャオミとZ.aiがすでに自社サービスの高速モードで使っている。

エヌビディアがグロックに払った200億ドル

なぜ速さに金がかかるのかは、価格表が答えてくれる。

ザ・レジスターは3月にこの構造をこう整理した。 推論事業の利益は、1台で何人を抱えられるかと、そのうち1人にどれだけ速く答えるかの交換から生まれ、両方を同時に最大にはできないという。 その交換の条件を変える道具が、これまでは専用チップだった。

エヌビディア、グロックとの200億ドル規模の契約を確認 (トムズハードウェア、2025-12-29)

출처: tomshardware.com

エヌビディアは昨年12月、グロックと非独占の技術ライセンス契約を結んだと明らかにし、規模は200億ドルと伝えられた。 セレブラスは今年5月に公開価格185ドルでナスダックに上場し、第1四半期のコア売上は1億9,130万ドルだった。 遅延を削る能力にそれだけの値がついているということだ。 だからこの記事が残す問いは、ハードウェアとソフトウェアのどちらが勝つかではなく、残された差がどれだけあるかだ。 GPU上の無料ソフトウェアが専用チップの近くまで追いつけば、専用チップが受け取っていた上乗せはその差の分まで縮む。 セレブラスが今年のガイダンスである8億5,500万ドルを満たせば上乗せはまだ生きており、満たせなければソフトウェアがその席を先に取ったという最初の証拠になる。