Nvidia ra mắt Vera Rubin, kiến trúc full-stack được xây dựng cho AI tác nhân
TREE NEWS đưa tin: Phó chủ tịch Nvidia, Ian Buck, đã trình bày chi tiết nền tảng Vera Rubin thế hệ tiếp theo của công ty, mô tả nó như một thiết kế lại từ đầu cho kỷ nguyên AI tác nhân sắp tới. Nền tảng này kết hợp hệ thống rack Vera Rubin NVL72, CPU Vera mới dựa trên lõi Olympus tùy chỉnh của Nvidia, tăng tốc dựa trên Groq LPU cho suy luận độ trễ cực thấp, lưu trữ thông minh được hỗ trợ bởi BlueField, và phần mềm MaxLPS để quản lý năng lượng động.
Lập luận trung tâm của Buck là kinh tế của phần cứng AI đang được viết lại. Cách hiệu quả nhất để giảm chi phí trên mỗi token không phải là cắt giảm giá GPU hay sử dụng mạng rẻ hơn, mà là mang lại mức tăng hiệu năng gấp 10 đến 30 lần mỗi thế hệ, điều này trực tiếp giảm chi phí của mỗi token được xử lý trên toàn bộ trung tâm dữ liệu.
Từ Chat đến Tác nhân: Cú sốc điện toán gấp 100 lần
Buck nhấn mạnh sự thay đổi cơ bản trong hồ sơ khối lượng công việc. Chuẩn Chat thời 2023, vốn là cơ sở của MLPerf Inference, giả định khoảng 1K token đầu vào, bộ nhớ đệm KV 4K, và khoảng ba vòng hội thoại có con người trong vòng lặp. AI tác nhân loại bỏ hoàn toàn con người khỏi vòng lặp. Trong chuẩn AgentX, kích thước đầu vào trung bình đạt 142.000 token, bộ nhớ đệm KV phình to để hỗ trợ ngữ cảnh hàng triệu token, và nhu cầu điện toán tăng 100 lần về mặt số lượng thuần túy.
Vì các tác nhân tự tạo prompt và chuỗi các bước suy luận mà không chờ con người đọc và gõ, các trung tâm dữ liệu không còn có thể dựa vào độ trễ của con người như một bộ đệm lập lịch. Kết quả là mức sử dụng gần như liên tục và cường độ cao.
Các chỉ số mới: Token trên mỗi megawatt
Buck lập luận rằng chỉ số hiệu suất chính của ngành đang chuyển từ FLOPs trên một chip sang token trên mỗi megawatt — thước đo mức độ hiệu quả mà một trung tâm dữ liệu chuyển đổi điện năng thành doanh thu. Trên chỉ số này, Vera Rubin mang lại mức cải thiện thông lượng nhà máy AI lên tới 30 lần so với Grace Blackwell, với một số kịch bản đạt 60 lần, theo các chuẩn tác nhân của SemiAnalysis.
MaxLPS, một lớp phần mềm quản lý động năng lượng rack và firmware, cho phép các nhà vận hành triển khai thêm tới 40% rack trong cùng một phong bì năng lượng — mở rộng một cơ sở quy mô gigawatt từ 4.000 lên 5.600 rack và đẩy thông lượng lên 1,2 tỷ token mỗi giây.
Hàm ý thị trường
- Chất bán dẫn: Nvidia đang mở rộng hào bảo vệ của mình bằng cách tích hợp CPU, GPU, mạng, lưu trữ và quản lý năng lượng vào một nền tảng duy nhất. Các đối thủ tập trung vào hiệu năng cấp chip có thể gặp khó khăn trong việc theo kịp hiệu quả cấp hệ thống.
- REIT trung tâm dữ liệu và tiện ích: Quản lý năng lượng được định nghĩa bằng phần mềm có thể trì hoãn nhu cầu về công suất mới, có khả năng làm dịu nhu cầu xây dựng mới nhưng tăng cường sử dụng các địa điểm hiện có.
- Nhà cung cấp đám mây: Các hyperscaler áp dụng Vera Rubin sớm có thể thấy chi phí trên mỗi token thấp hơn đáng kể, gây áp lực lên các đám mây AI nhỏ hơn thiếu quyền truy cập vào phần cứng mới nhất.
- Lớp ứng dụng AI: Suy luận rẻ hơn hỗ trợ triển khai tác nhân tích cực hơn, có thể đẩy nhanh việc áp dụng các sản phẩm AI tự trị trên toàn bộ phần mềm doanh nghiệp.
- Mạng và lưu trữ: NVLink Fusion mở kết nối của Nvidia cho các XPU của bên thứ ba, bao gồm Annapurna Labs của Amazon và startup The Matrix, báo hiệu sự chuyển dịch sang khóa hệ sinh thái thay vì cạnh tranh chip thuần túy.
Điểm chính cho nhà đầu tư
Nvidia không còn bán chip — họ đang bán kinh tế nhà máy AI. Nhịp độ lộ trình hàng năm của công ty, chuyển từ Vera Rubin sang Vera Rubin Ultra, Feynman và Feynman Ultra, báo hiệu rằng mức tăng hiệu năng sẽ tiếp tục tích lũy, khiến các đối thủ khó thu hẹp khoảng cách trên cơ sở chi phí mỗi token.
Nhà đầu tư nên theo dõi ba điều: việc áp dụng Vera Rubin bởi các nhà cung cấp đám mây lớn như Oracle Cloud Infrastructure, tốc độ mà quản lý năng lượng kiểu MaxLPS định hình lại chi tiêu vốn trung tâm dữ liệu, và liệu tích hợp Groq LPU có tạo ra một ngách bền vững trong suy luận độ trễ cực thấp hay không. Thông điệp rộng hơn là trong kỷ nguyên tác nhân, hiệu quả điện toán — không phải giá chip — là biến số cạnh tranh quyết định.
