按 Enter 搜索 · ESC 关闭

AI × Crypto

英伟达提出AI内存全栈协同设计,Vera Rubin单位成本推理吞吐量最高提升30倍

英伟达提出通过GPU、CPU、网络、存储及软件协同设计提升内存使用效率,而非单纯增加GPU内存容量,以应对AI模型规模扩大、上下文窗口延长及智能体应用普及带来的GPU内存压力,以及HBM供应趋紧、价格上涨。英伟达披露,在SemiAnalysis AgentX测试中,GB300 NVL72在特定工作负载下的单位成本推理吞吐量最高达到H200平台的10倍;Vera Rubin NVL72相较GB300 NVL72最高提升30倍,而单GPU HBM容量仅增加约3%。

原文

AI 解读

这条消息的重点不在算力数字,而在路线转向:面对HBM供应趋紧与涨价,英伟达把竞争维度从“堆容量”推向系统级协同设计,用架构与软件效率替代硬件堆料。这一取向会直接影响依赖大内存推理的云厂商与模型服务商的成本结构,也会波及HBM供应链的议价逻辑。值得观察的是,这类协同设计带来的吞吐提升能否在更广泛的实际负载中复现,以及单GPU内存容量增长放缓是否会成为常态。

由 AI 生成,仅供参考。

分享本文

相关快讯

TREE NEWS 分享卡片
长按上方图片 → 保存到相册 / 转发分享
寻求报道 加入社群 意见反馈