Nvidia：Vera Rubin NVL72、GPUあたりHBMを約3%増やすだけでコスト当たり推論スループットを最大30倍に向上

TREE NEWS 情報： Nvidiaは、AIモデルの大規模化に伴いGPUメモリへの負荷が高まる中、HBMの供給が逼迫し価格が上昇している状況に対し、単純にGPUメモリ容量を増やすのではなく、GPU、CPU、ネットワーク、ストレージ、ソフトウェアにわたるフルスタックの協調設計アプローチを提案した。同社によると、SemiAnalysis AgentXのテストにおいて、GB300 NVL72は特定のワークロードでH200の単位コスト当たり推論スループットの最大10倍を実現し、Vera Rubin NVL72はGPUあたりのHBM容量をわずか約3%増やすだけで、GB300 NVL72の最大30倍を達成するという。