AI基础设施竞争进入新阶段：内存与网络成为关键瓶颈
TREE NEWS 报道， AI基础设施的竞争正从“堆算力”转向系统级优化。随着AI从模型训练进一步进入推理、智能体和长上下文工作流，算力芯片已不再是唯一瓶颈，网络互联、内存带宽与容量，以及数据在不同层级之间的传输效率，正成为下一阶段基础设施升级的关键。
在近期举行的AI基础设施峰会上，博通、Marvell、三星及AWS等公司集中阐述了各自在网络、存储和定制芯片领域的布局，释放出一个共同信号：AI工作负载持续复杂化后，基础设施需要同时解决互联效率、内存容量、带宽、功耗和成本等问题。
博通：以太网将成为大规模AI首选互联方案
博通明确认为，以太网将成为大规模AI基础设施的首选互联方案，并称其架构相较替代方案可实现超过30%的五年总拥有成本（TCO）节省。其Tomahawk和Jericho系列是核心网络产品，最新Tomahawk 6达到102.4 Tbps，带宽每代翻倍。
博通已形成覆盖网卡（NIC）、交换机和软件的AI以太网方案。公司称，更高的网络效率能够同步降低功耗、散热及基础设施运营成本。
Marvell：聚焦内存层级优化
Marvell将重点放在内存层级。随着AI进入推理密集型和长上下文场景，KV缓存规模快速增长，可能超过HBM容量上限，系统因此需要从速度更慢的内存层级重新加载数据，甚至重新计算上下文。
这一过程会推高推理延迟、内存流量和功耗，成为AI系统进一步扩展的瓶颈。未来AI基础设施不仅需要增加算力，也需要重新优化内存层级和数据传输路径。
三星：HBM路线图与Z-NAND
三星预计，训练需求将增长约3倍，推理需求可能增长约100倍，内存、存储、功耗和散热的重要性随之提升。
三星预计HBM4E将实现每GPU 16 TB/s带宽，性能功耗比相比HBM4提升20%；HBM5较HBM4E实现2倍性能提升。更激进的zHBM被视为潜在颠覆性技术，其单GPU性能较HBM5提升4至8倍，性能功耗比提升3倍，热阻降低75%至90%。
三星同时介绍了Z-NAND方案，采用SLC NAND与TSV堆叠，读取性能可比肩LPDDR5 DRAM，比特密度约为DRAM的10倍，预计2028年开始送样。
AWS：定制芯片提升内存带宽经济性
AWS通过定制芯片提升AI系统效率。公司已形成Graviton、Inferentia和Trainium自研芯片体系，并将Trainium的核心优势归结为“单位成本内存带宽”，认为这一指标直接影响AI训练经济性和token效率。
市场影响分析
半导体板块：从算力中心转向系统级优化，利好具有多元化AI基础设施敞口的公司。博通和Marvell将从网络和定制芯片需求中受益。三星的HBM路线图强化了其在高带宽内存竞赛中的地位，但执行风险仍存。
云服务商：AWS对定制芯片的重视表明超大规模云厂商持续垂直整合，可能逐步减少对商用GPU供应商的依赖。这可能对纯GPU供应商的利润率构成压力，同时有利于云厂商的成本结构。
网络与内存：以太网对专有互联方案的替代可能加速开放标准的采用，利好网络设备供应商。拥有先进HBM和NAND路线图的内存厂商有望持续受益于需求增长。
更广泛科技板块：随着AI基础设施更加系统优化，AI部署总成本可能下降，加速企业采用并扩大AI应用的可寻址市场。
投资者关键要点
- AI敞口多元化：网络、内存和定制芯片对AI扩展同等关键，投资者应超越以算力为中心的投资标的。
- 关注HBM和先进内存路线图：三星的激进目标及竞争对手的回应将塑造2028年前的内存竞争格局。
- 以太网与InfiniBand之争：博通推动以太网可能重塑数据中心网络经济性，影响设备供应商和云运营商。
- 定制芯片势头：AWS的Trainium战略凸显超大规模厂商正围绕单位token成本进行优化，这一趋势可能对商用芯片供应商构成压力。
- 系统级优化是新前沿：AI基础设施竞赛不再仅是算力之争，而是整个堆栈中数据流动效率的竞争。
