TREE NEWS 消息, 英伟达提出通过GPU、CPU、网络、存储及软件协同设计提升内存使用效率,而非单纯增加GPU内存容量,以应对AI模型规模扩大、上下文窗口延长及智能体应用普及带来的GPU内存压力,以及HBM供应趋紧、价格上涨。英伟达披露,在SemiAnalysis AgentX测试中,GB300 NVL72在特定工作负载下的单位成本推理吞吐量最高达到H200平台的10倍;Vera Rubin NVL72相较GB300 NVL72最高提升30倍,而单GPU HBM容量仅增加约3%。
英伟达提出AI内存全栈协同设计,Vera Rubin单位成本推理吞吐量最高提升30倍
AI 解读
这条消息的重点不在算力数字,而在路线转向:面对HBM供应趋紧与涨价,英伟达把竞争维度从“堆容量”推向系统级协同设计,用架构与软件效率替代硬件堆料。这一取向会直接影响依赖大内存推理的云厂商与模型服务商的成本结构,也会波及HBM供应链的议价逻辑。值得观察的是,这类协同设计带来的吞吐提升能否在更广泛的实际负载中复现,以及单GPU内存容量增长放缓是否会成为常态。
由 AI 生成,仅供参考。