Cuộc đua cơ sở hạ tầng AI bước vào giai đoạn mới khi bộ nhớ và mạng nổi lên như những nút thắt quan trọng
TREE NEWS đưa tin: Bối cảnh cạnh tranh cho cơ sở hạ tầng AI đang trải qua một sự thay đổi căn bản. Khi khối lượng công việc AI phát triển từ huấn luyện mô hình sang suy luận, hệ thống tác tử và quy trình ngữ cảnh dài, sức mạnh tính toán thô không còn là hạn chế duy nhất. Kết nối mạng, băng thông và dung lượng bộ nhớ, và hiệu quả truyền dữ liệu across hệ thống phân cấp đang trở thành các biến số quyết định cho việc nâng cấp cơ sở hạ tầng thế hệ tiếp theo.
Tại một hội nghị thượng đỉnh về cơ sở hạ tầng AI gần đây, Broadcom, Marvell, Samsung và AWS đã cùng nhau vạch ra chiến lược của họ trong lĩnh vực mạng, lưu trữ và silicon tùy chỉnh, gửi đi một tín hiệu thống nhất: khi khối lượng công việc AI trở nên phức tạp hơn, cơ sở hạ tầng phải đồng thời giải quyết hiệu quả kết nối, dung lượng bộ nhớ, băng thông, tiêu thụ điện năng và chi phí.
Broadcom đặt cược vào Ethernet cho mở rộng quy mô AI
Broadcom đã đưa ra lập luận dứt khoát rằng Ethernet sẽ trở thành công nghệ kết nối ưu tiên cho cơ sở hạ tầng AI quy mô lớn. Công ty tuyên bố kiến trúc của họ mang lại tiết kiệm hơn 30% trong tổng chi phí sở hữu (TCO) 5 năm so với các giải pháp thay thế. Dòng Tomahawk và Jericho của họ tạo thành xương sống của chiến lược này, với Tomahawk 6 mới nhất đạt 102,4 Tbps—tăng gấp đôi băng thông mỗi thế hệ.
Danh mục Ethernet AI của Broadcom hiện bao gồm card giao diện mạng (NIC), switch và phần mềm. Công ty lập luận rằng hiệu quả mạng cao hơn trực tiếp giảm tiêu thụ điện năng, yêu cầu làm mát và chi phí vận hành.
Marvell nhắm đến tối ưu hóa phân cấp bộ nhớ
Marvell tập trung vào thách thức phân cấp bộ nhớ. Khi AI chuyển sang các kịch bản suy luận chuyên sâu và ngữ cảnh dài, kích thước KV cache đang tăng nhanh chóng và có thể vượt quá giới hạn dung lượng HBM. Điều này buộc hệ thống phải tải lại dữ liệu từ các tầng bộ nhớ chậm hơn hoặc thậm chí tính toán lại ngữ cảnh—làm tăng độ trễ suy luận, lưu lượng bộ nhớ và tiêu thụ điện năng.
Hàm ý rất rõ ràng: cơ sở hạ tầng AI trong tương lai phải tối ưu hóa phân cấp bộ nhớ và đường truyền dữ liệu, không chỉ thêm tính toán. Dữ liệu phải chảy hiệu quả hơn across các tầng tính toán và lưu trữ khác nhau.
Lộ trình HBM của Samsung và tham vọng Z-NAND
Samsung đã vạch ra một lộ trình bộ nhớ đầy tham vọng. Công ty dự kiến nhu cầu huấn luyện sẽ tăng khoảng 3 lần trong khi nhu cầu suy luận có thể tăng vọt 100 lần, nâng cao tầm quan trọng của bộ nhớ, lưu trữ, điện năng và quản lý nhiệt.
Samsung dự đoán HBM4E sẽ cung cấp băng thông 16 TB/s mỗi GPU với hiệu suất trên mỗi watt tốt hơn 20% so với HBM4. HBM5 dự kiến sẽ tăng gấp đôi hiệu suất của HBM4E. Cấp tiến hơn, zHBM của Samsung được định vị là công nghệ đột phá tiềm năng, mang lại cải thiện hiệu suất đơn GPU gấp 4-8 lần so với HBM5, hiệu suất trên mỗi watt tốt hơn 3 lần và giảm 75-90% điện trở nhiệt.
Công ty cũng giới thiệu Z-NAND, sử dụng SLC NAND với xếp chồng TSV. Họ tuyên bố hiệu suất đọc tương đương DRAM LPDDR5 với mật độ bit gấp khoảng 10 lần DRAM, với việc lấy mẫu dự kiến bắt đầu vào năm 2028.
AWS và kinh tế của silicon tùy chỉnh
AWS nhấn mạnh silicon tùy chỉnh như một đòn bẩy cho hiệu quả hệ thống. Công ty đã xây dựng danh mục bao gồm chip Graviton, Inferentia và Trainium. AWS xác định “băng thông bộ nhớ trên mỗi đơn vị chi phí” là lợi thế cốt lõi của Trainium, lập luận rằng chỉ số này ảnh hưởng trực tiếp đến kinh tế huấn luyện AI và hiệu quả token.
Hàm ý thị trường
Chất bán dẫn: Sự chuyển dịch từ tối ưu hóa lấy tính toán làm trung tâm sang lấy hệ thống làm trung tâm có lợi cho các công ty có danh mục đầu tư cơ sở hạ tầng AI đa dạng. Broadcom và Marvell sẽ được hưởng lợi từ nhu cầu mạng và silicon tùy chỉnh. Lộ trình HBM của Samsung củng cố vị thế của mình trong cuộc đua bộ nhớ băng thông cao, mặc dù rủi ro thực thi vẫn còn.
Nhà cung cấp đám mây: Sự nhấn mạnh của AWS vào silicon tùy chỉnh báo hiệu sự tích hợp dọc tiếp tục giữa các siêu quy mô, có khả năng giảm sự phụ thuộc vào các nhà cung cấp GPU thương mại theo thời gian. Điều này có thể gây áp lực lên biên lợi nhuận của các nhà cung cấp GPU thuần túy trong khi mang lại lợi ích cho cấu trúc chi phí của các nhà cung cấp đám mây.
Mạng và bộ nhớ: Việc tập trung vào Ethernet thay vì kết nối độc quyền có thể đẩy nhanh việc áp dụng các tiêu chuẩn mở, mang lại lợi ích cho các nhà cung cấp thiết bị mạng. Các nhà sản xuất bộ nhớ với lộ trình HBM và NAND tiên tiến được định vị để tăng trưởng nhu cầu bền vững.
Công nghệ rộng hơn: Khi cơ sở hạ tầng AI trở nên tối ưu hóa hệ thống hơn, tổng chi phí triển khai AI có thể giảm, tăng tốc áp dụng doanh nghiệp và mở rộng thị trường có thể tiếp cận cho các ứng dụng AI.
Điểm chính cho nhà đầu tư
- Đa dạng hóa tiếp xúc AI ngoài GPU: Mạng, bộ nhớ và silicon tùy chỉnh đang trở nên quan trọng không kém đối với việc mở rộng AI. Nhà đầu tư nên nhìn xa hơn các tên lấy tính toán làm trung tâm.
- Theo dõi lộ trình HBM và bộ nhớ tiên tiến: Mục tiêu tham vọng của Samsung và phản ứng của đối thủ sẽ định hình bối cảnh cạnh tranh bộ nhớ đến năm 2028.
- Ethernet vs. InfiniBand: Sự thúc đẩy Ethernet của Broadcom có thể định hình lại kinh tế mạng trung tâm dữ liệu, với hàm ý cho cả nhà cung cấp thiết bị và nhà điều hành đám mây.
- Đà phát triển silicon tùy chỉnh: Chiến lược Trainium của AWS làm nổi bật cách các siêu quy mô đang tối ưu hóa cho chi phí trên mỗi token, một xu hướng có thể gây áp lực lên các nhà cung cấp chip thương mại.
- Tối ưu hóa cấp hệ thống là biên giới mới: Cuộc đua cơ sở hạ tầng AI không còn chỉ là về FLOPS—mà là về hiệu quả di chuyển dữ liệu across toàn bộ ngăn xếp.
