AI推理是’Token工厂’：新分析重塑AI基础设施经济逻辑
TREE NEWS 报道， 研究机构SemiAnalysis于9月22日发布深度技术报告，系统拆解了大模型推理服务的底层架构，指出AI推理并非单一工作负载，而是由预填充（Prefill）、中间填充（Midfill）、解码注意力（Decode Attention）和解码专家（Decode Experts）四个阶段构成的’Token工厂’。报告以英伟达Blackwell系列GPU为案例，对硬件设计者、云服务商和模型部署方具有直接指导意义。
事件核心
报告的核心论点是：将推理视为同质化工作负载是代价高昂的错误。四个阶段对算力、内存带宽和网络的需求截然不同。预填充受计算能力约束，中间填充是计算与内存的双重考验，解码则几乎完全被内存带宽主宰。混同处理将损失混合专家（MoE）模型架构的结构性优势。
MoE模型通过路由器为每个Token激活少数’专家模块’，这改变了数据存放位置、内存与带宽的价值权重，并使调度复杂度指数级上升。KV缓存状态以不可变数据块形式存储，并在GPU HBM、CPU DRAM和SSD/网络存储间分级。报告得出反直觉结论：带宽比容量更值钱，HBM应仅用于承载’正在赚钱的数据’。
报告还警告了’延迟反馈震荡’的系统性调度风险，并提出了就绪缓冲区、平滑入场控制和分层时间尺度等解决方案。
市场影响分析
这份分析远不止学术意义，它重新定义了AI基础设施的竞争格局：
- 英伟达的护城河与软肋：报告验证了Blackwell（B200、B300、GB200）的领先地位，尤其是GB200的NVL72机架架构在低延迟解码中的优势。但带宽与容量的权衡暗示，专注于HBM效率而非容量的竞争对手可能找到细分机会。这对SK海力士、三星、美光等HBM供应商是积极信号。
- 云与超大规模厂商经济性：分离式与聚合式架构之争成为云资本开支的核心。若分离式系统更高效，云厂商需重新设计数据中心，利好博通、Arista、Marvell等网络与互连供应商。若’全能芯片’出现，聚合式架构可能胜出，利好英伟达集成度最高的产品。
- AI模型经济性：报告对每Token成本和能耗的关注——解码因每查询约1000次前向传播成为最大能耗来源——凸显了AI公司的成本压力。效率提升直接影响OpenAI、Anthropic、谷歌等模型提供商的毛利率。
- 加密与去中心化计算：尽管报告未提及加密，但其发现对去中心化GPU网络（如Render、Akash、io.net）高度相关。对调度、内存分级和带宽优化的强调，表明去中心化网络必须解决同样问题才能与中心化超大规模厂商竞争。成功将验证闲置GPU容量可在链上高效变现的论点。
投资者关键要点
- 硬件：看好高带宽内存和先进封装（SK海力士、台积电），而非仅关注容量的厂商。网络与互连供应商将从分离式架构中受益。
- 云：拥有灵活软件定义基础设施的超大规模厂商（AWS、谷歌云、微软Azure）最能适应阶段特定优化。关注资本开支向异构计算池的转移。
- AI模型：推理效率是新战场。掌握调度和内存编排的公司将获得更低每Token成本和更高利润率。
- 加密：去中心化计算网络是基于相同原理的高风险高回报押注。若能匹配报告所述的调度复杂度，可能抢占AI推理市场份额。
‘Token工厂’框架为AI基础设施竞争的下一阶段提供了路线图——软件编排和内存层次结构与原始算力同样重要。
