按 Enter 搜索 · ESC 关闭

AI × Crypto

我国日均词元调用量突破500万亿,算力需求暴涨

最新数据显示,国内日均词元调用量已突破500万亿,算力市场需求随之暴涨。智能算力短期难以补足,只能向存量要效益。2025年,郑纬民院士团队研发的大模型推理系统Mooncake获得埃里克・里德尔最佳论文奖,其核心是用PD分离技术盘活存量算力:P负责读入用户问题,D负责生成回答,两组算力各司其职。在同样硬件规模下,系统可多承接75%的用户请求,长文本吞吐能力提升五倍以上。

原文

AI 解读

词元调用量突破500万亿,真正值得关注的是算力供需缺口如何被消化。郑纬民团队Mooncake以PD分离盘活存量算力,在同等硬件下多承接75%请求、长文本吞吐提升五倍以上,说明短期瓶颈更可能靠系统层优化而非单纯堆硬件缓解。这对推理服务商与国产算力产业链影响直接。后续值得观察的是,这类推理系统优化能否规模化落地,以及算力扩张与效率提升之间的替代关系是否持续。

由 AI 生成,仅供参考。

分享本文

相关快讯

TREE NEWS 分享卡片
长按上方图片 → 保存到相册 / 转发分享
寻求报道 加入社群 意见反馈