AIの真のボトルネックはチップではない：ベテランチップ設計者が語る、今や支配するのはパッケージング、インターコネクト、メモリ
TREE NEWS 報道： テック界で「Mr. Bubble」として知られるベテランチップ設計者が、AIコンピュートのサプライチェーンについて率直な再評価を提示した。人工知能の制約はもはやロジックダイそのものではなく、先端パッケージング、インターコネクトのレイテンシ、そしてメモリ階層にあるという。幅広いインタビューの中で、このハードウェアアナリストは、ムーアの法則は経済的基盤において事実上破綻しており、業界の重心は「より高速なチップを設計する」ことから「シリコンからラックまでの物理スタックを制御する」ことへ移ったと主張した。
ムーアの法則の経済性は崩壊した
Mr. Bubbleの中心的な主張は、トランジスタの微細化がもはや元を取れなくなっているというものだ。新たなプロセスノードへ進むには現在数百億ドルものコストがかかるが、得られるのは歴史的な倍増ではなく、わずか15〜20%の密度向上にとどまる。その結果、先端パッケージングが「新たなムーアの法則」になったと彼は言う。業界は単位面積あたりのトランジスタをひたすら微細化するのではなく、面積を拡大し複数のダイを貼り合わせて一つのチップとして機能させる方向へ向かっているのだ。
この転換はサプライチェーンに現実の影響を及ぼす。彼はNvidiaのロードマップを挙げ、それはNvidia自身の設計上の野望よりも、メモリとパッケージングのサプライヤーが何を供給できるかによって制約されていると指摘する。当初計画されていたRubin Ultraの4ダイパッケージは、伝えられるところでは1パッケージあたり2ダイに格下げされ、2つのパッケージはPCB経由で接続されることになった。そうした世界では、GPU設計者ではなくPCBメーカーが新たなボトルネックとなる。
コンピュートの単位は今やラックである
モデルのパラメータ数が急増するにつれ、焦点はスケールアウトからスケールアップへ移った。Mr. Bubbleは、もはやチップを真空状態で設計することはできないと主張する。設計目標は、トレーニングと推論の両方においてラック全体、あるいは複数のラックである。インターコネクトのスループットとレイテンシが、クラスタの生死を決めるのだ。
彼は二つのアーキテクチャを対比する。GPU用に確保できたはずのラックスペースを消費する大規模なNVSwitchネットワークを用いるNvidiaのNVL72システムと、ルーティングロジックをシリコンに直接組み込むことでスケールアップ領域が約9,600チップに達するGoogleのTPUチームだ。こうしたシステムレベルの設計能力こそが、将来のAIハードウェアベンダーにとっての中核的な堀になると彼は論じる。
メモリ：HBMだけでなくフラッシュも
推論について、Mr. Bubbleは、ますます高価になるHBMだけが唯一の答えだというコンセンサスに異を唱える。モデルの重みはHBMに属するが、すべてのコンテキストが同時に使われるわけではないなら、大量のコンテキストをそこに保存する理由はほとんどないと彼は言う。フラッシュコントローラがAIワークロード向けに設計されていれば、より安価で大容量のフラッシュ——高帯域フラッシュ（HBF）を含む——がコンテキストを処理する「フラッシュオフロード」が拡大すると彼は予想する。
彼の長期的な賭けは3D DRAMだ。ロジックの直上にDRAMを直接接合することで、物理的な近接性によってレイテンシを削減し、帯域幅を高め、電力を下げる。
投資家向けのポイント
- ツルハシとシャベルを握れ。 Mr. Bubbleは、人材の流動がアルファを蝕み、死闘を繰り広げることになるというフロンティアAIラボよりも、10年単位の堀を持つハードウェア層の企業を好む。
- パッケージングとPCBの銘柄を注視せよ。 ダイ数が増えパッケージが倍増するにつれ、先端パッケージングとPCBメーカーが構造的なチョークポイントになる。
- メモリトレードを再考せよ。 HBM需要は想定よりも非弾力的でない可能性がある。フラッシュコントローラ、3D DRAM、CXL型のメモリ拡張は過小評価された機会だ。
- 設備投資の回収は妥当だ。 彼は、AIが発見したいくつかの薬だけでデータセンターの建設全体を正当化し得ると主張する。急激な離陸シナリオであり、バブルではない。
市場へのメッセージはこうだ。AIトレードは、チップ設計者から、実際にビットを運ぶ地味な物理インフラへと、スタックの下流へ移行しつつある。
