Bức tường bộ nhớ trở thành nút thắt lớn nhất của AI
TREE NEWS đưa tin: Bùng nổ hạ tầng AI đang chạm giới hạn kiến trúc cứng: băng thông và dung lượng bộ nhớ tăng chậm hơn nhiều so với kích thước mô hình. Tại Hội nghị Hạ tầng AI 2026, các nhà sản xuất chip lớn, nhà cung cấp đám mây và phòng thí nghiệm AI—gồm Micron, Samsung, SK Hynix, Broadcom, Marvell, Intel, Qualcomm, OpenAI, AWS và Google—đã đồng thuận một điểm: phân tách bộ nhớ và lưu trữ thành các tầng chuyên biệt hiện là con đường khả thi nhất.
Các mô hình Transformer tăng gấp đôi kích thước khoảng mỗi hai năm, tăng khoảng 240 lần trong giai đoạn đó, trong khi băng thông và dung lượng bộ nhớ chỉ tăng khoảng 2 lần. Khoảng cách ngày càng rộng này—cái gọi là “bức tường bộ nhớ”—đang khiến kiến trúc lấy GPU làm trung tâm ngày càng không bền vững. Ngành đang chuyển từ tính toán thô (FLOPs) sang các chỉ số hiệu quả như token trên watt (tokens/W) và token trên đô la (tokens/$).
Công nghệ bộ nhớ mới lên ngôi
Qualcomm công bố giải pháp High Bandwidth Compute (HBC), xếp chồng bộ nhớ LPDDR trực tiếp trên chip tính toán, đạt dung lượng trên watt gấp khoảng 200 lần SRAM và băng thông trên watt gấp 6 lần HBM. zHBM của Samsung theo cách tiếp cận xếp chồng 3D DRAM tương tự. SK Hynix nhấn mạnh ba tầng bộ nhớ chuyên biệt: PIM (processing-in-memory) cho khối lượng công việc chuyên sâu về bộ nhớ, đạt dung lượng mỗi rack gấp 288 lần SRAM; HBF (high bandwidth flash) cho kịch bản ngữ cảnh dài, với dung lượng gấp khoảng 10 lần HBM; và SALT-KV, giải pháp phần mềm lập lịch KV cache nhận biết nhiệt độ trên các tầng.
Kết nối mở và chip tùy chỉnh
Ethernet đang củng cố vị thế thống trị trong mạng scale-out, với Broadcom thúc đẩy nó ở mọi tầng: Tomahawk 6 (102.4T) cho scale-out, Thor Ultra NIC và ESUN cho scale-up, và Jericho 4 cho kết nối liên miền—tất cả đều kiến trúc mở. Marvell cung cấp gắn XPU tùy chỉnh đầu-cuối, bộ kết nối toàn quang và hỗ trợ đa giao thức (UALink, NVLink Fusion, ESUN). Astera Labs tận dụng PCIe chuẩn để xây dựng giải pháp kết nối và bộ nhớ với chip Scorpio và Leo.
Tùy chỉnh đang gia tăng song song với tiêu chuẩn mở, khi các hyperscaler tìm kiếm silicon phù hợp để tối ưu cho khối lượng công việc cụ thể. Xu hướng này có lợi cho các công ty như Broadcom, Marvell và Astera Labs, những bên có danh mục sản phẩm gắn trực tiếp với các thay đổi này.
Tốc độ và độ tin cậy sản xuất sánh ngang thiết kế chip
Một chủ đề chính tại hội nghị: thời gian ra thị trường và độ tin cậy hệ thống nay quan trọng không kém thiết kế chip. AWS đã rút ngắn kiểm thử và ổn định sau silicon từ 6–9 tháng bằng cách căn chỉnh năng lực kiểm thử với quy mô triển khai và đặt sản xuất cùng địa điểm với nơi triển khai. Đồng thiết kế phần mềm—gồm hỗ trợ PyTorch gốc và khả năng chuyển đổi Hugging Face với mã tối thiểu—đang tăng tốc con đường từ chip đến ứng dụng.
Hàm ý thị trường
Sự chuyển dịch sang phân tách bộ nhớ và các chỉ số ưu tiên hiệu quả có hàm ý sâu sắc với nhà đầu tư bán dẫn. Các công ty cung cấp giải pháp bộ nhớ chuyên biệt (Micron, Samsung, SK Hynix), silicon tùy chỉnh (Broadcom, Marvell) và kết nối (Astera Labs) sẽ hưởng lợi khi kiến trúc trung tâm dữ liệu phát triển. Việc nhấn mạnh tokens/W và tokens/$ nghĩa là hiệu quả năng lượng và chi phí mỗi token sẽ trở thành yếu tố khác biệt cạnh tranh then chốt, có khả năng định hình lại thị phần giữa các nhà cung cấp GPU, ASIC và bộ nhớ.
Với nhà cung cấp đám mây, khả năng triển khai nhanh và lặp lại trên silicon tùy chỉnh có thể giảm chi phí và cải thiện biên lợi nhuận, nhưng cũng đòi hỏi tích hợp dọc sâu hơn và chuyên môn phần mềm. Xu hướng kết nối mở có thể giảm phụ thuộc vào giải pháp độc quyền như NVLink, thúc đẩy hệ sinh thái cạnh tranh hơn.
Điểm chính cho nhà đầu tư
- Phân tách bộ nhớ là chiến trường mới: Các công ty cung cấp tầng bộ nhớ chuyên biệt (PIM, HBF, HBC) và đóng gói tiên tiến (xếp chồng 3D) sẵn sàng tăng trưởng.
- Chỉ số hiệu quả quan trọng: Tokens/W và tokens/$ sẽ ngày càng dẫn dắt quyết định mua sắm, ưu tiên nhà cung cấp có hiệu quả năng lượng vượt trội.
- Kết nối mở giành đà: Broadcom, Marvell và Astera Labs ở vị thế tốt khi Ethernet và tiêu chuẩn mở thay thế fabric độc quyền.
- Tốc độ và độ tin cậy là yếu tố khác biệt: Chu kỳ kiểm thử rút ngắn của AWS làm nổi bật tầm quan trọng của kỹ thuật cấp hệ thống và đồng thiết kế phần mềm.
- Nhu cầu silicon tùy chỉnh tăng: Việc hyperscaler thúc đẩy chip riêng có lợi cho nhà thiết kế ASIC và nhà cung cấp IP.
Khi mô hình AI tiếp tục mở rộng, khả năng phá vỡ bức tường bộ nhớ thông qua phân tách và tăng hiệu quả sẽ quyết định tốc độ xây dựng hạ tầng AI—và những người thắng trong chuỗi cung ứng bán dẫn.
