AI推論は「トークン工場」：新分析がAIインフラの経済性を再構築する

TREE NEWS 報道：調査会社SemiAnalysisによる大規模な新技術レポートが、大規模言語モデル（LLM）推論の基盤アーキテクチャを体系的に解剖し、AI推論は単一のワークロードではなく、Prefill、Midfill、Decode Attention、Decode Expertsという4つの異なる段階からなる多段階の産業パイプライン——「トークン工場」——であると論じている。9月22日に公開されたこの分析は、NvidiaのBlackwell GPUシリーズをケーススタディとして用いており、ハードウェア設計者、クラウドプロバイダー、モデル展開事業者に直接的な示唆を与える。

何が起きたか

レポートの中心的な主張は、推論を単一の均質なワークロードとして扱うことは高コストな誤りであるという点だ。4つの段階はそれぞれ、演算、メモリ帯域幅、ネットワーキングに対して根本的に異なる要求を課す。Prefillは演算律速であり、Midfillは演算とメモリの両方に負荷をかけ、Decodeはほぼ完全にメモリ帯域幅律速である。これらを混同することは、Mixture-of-Experts（MoE）アーキテクチャの構造的優位性を無駄にするとレポートは論じる。

MoEモデルは、ルーターによって調整されながら、トークンごとに「エキスパート」モジュールのごく一部のみを活性化する。これは、どのデータを演算の最も近くに置く必要があるかを変え、メモリ、帯域幅、ストレージの価値の序列を組み替え、スケジューリングを指数関数的に複雑にする。KVキャッシュ状態——各会話の「記憶」——は不変のブロブとして保存され、GPU HBM、CPU DRAM、SSD／ネットワークストレージにまたがって階層化される。レポートの直感に反する結論はこうだ：容量よりも帯域幅が重要である。HBMは稼働中で収益を生むデータのために確保するのが最善であり、アイドル状態のコンテキストはより安価なストレージへ移行させるべきである。

レポートはまた、「リタイアメント・ゲート・オシレーション」——予測不能なdecode時間がprefillの滞留と過剰補償を引き起こし、スループットを劣化させる体系的なスケジューリングリスク——についても警告している。これに対処するため、レディバッファ、平滑化されたアドミッション制御、階層化された制御タイムスケールといった洗練された緩和戦略が示されている。

市場への示唆

この分析は単なる学術的なものにとどまらない。AIインフラの競争環境を再定義するものである：

Nvidiaの堀と脆弱性：レポートはNvidiaのBlackwell（B200、B300、GB200）を主要プラットフォームとして評価しており、特に低レイテンシdecode向けのGB200のNVL72ラックスケールアーキテクチャを高く評価している。しかし、帯域幅対容量のトレードオフを強調することで、生の容量ではなく高帯域幅メモリ（HBM）効率に注力する競合がニッチを切り開く可能性を示唆している。これはSK Hynix、Samsung、MicronといったHBMサプライヤーにとってポジティブなシグナルだが、容量拡大のみに賭ける者にとっては警告となる。
クラウドとハイパースケーラーの経済性：分離型対集約型アーキテクチャの議論は、今やクラウドの設備投資の中心にある。分離型システム（prefillとdecodeで別々のプール）がより効率的であると判明すれば、クラウドプロバイダーはデータセンターを再設計する必要が生じ、ネットワーキングおよびインターコネクト事業者（Broadcom、Arista、Marvell）に有利に働く可能性がある。一方、「ユニバーサル」チップが登場すれば集約型アーキテクチャが勝利し、Nvidiaの最も統合された製品群に有利となる。
AIモデルの経済性：トークンあたりの経済性とエネルギー消費に焦点を当てたレポートは——decodeは1クエリあたり約1000回のフォワードパスにより最大のエネルギー消費者である——AI企業に課されるコスト圧力を浮き彫りにする。ここでの効率改善は、OpenAI、Anthropic、Googleといったモデルプロバイダーの粗利益率に直接影響する。
暗号資産と分散型コンピュート：レポートは暗号資産に言及していないが、その知見は分散型GPUネットワーク（例：Render、Akash、io.net）に非常に関連が深い。スケジューリング、メモリ階層化、帯域幅最適化への強調は、分散型ネットワークが中央集権型ハイパースケーラーと競争するために同じ課題を解決しなければならないことを示唆している。成功すれば、アイドル状態のGPU容量をオンチェーンで効率的に収益化できるというテーゼが実証されることになる。

投資家向けの重要ポイント

ハードウェア：生の容量に注力する企業よりも、高帯域幅メモリと先進パッケージングを可能にする企業（SK Hynix、TSMC）を選好せよ。ネットワーキングおよびインターコネクトベンダーは分離型アーキテクチャから恩恵を受ける立場にある。
クラウド：柔軟でソフトウェア定義型のインフラを持つハイパースケーラー（AWS、Google Cloud、Microsoft Azure）が、段階ごとの最適化に適応する上で最も有利な立場にある。異種コンピュートプールへの設備投資シフトに注目せよ。
AIモデル：推論効率が新たな戦場である。スケジューリングとメモリオーケストレーションを極めた企業は、トークンあたりのコストを低減し、より高い利益率を享受する。
暗号資産：分散型コンピュートネットワークは、同じ原則に賭けるハイリスク・ハイリターンの賭けである。記述されたスケジューリングの洗練度に匹敵できれば、AI推論市場の一角を獲得できる可能性がある。

「トークン工場」フレームワークは、AIインフラ競争の次段階——ソフトウェアオーケストレーションとメモリ階層が生のFLOPSと同じくらい重要になる段階——へのロードマップを提供する。