Nvidia: Vera Rubin NVL72 tăng thông lượng suy luận trên mỗi đơn vị chi phí lên tới 30 lần chỉ với HBM mỗi GPU nhiều hơn ~3%

TREE NEWS thông tin: Nvidia đã đề xuất một cách tiếp cận đồng thiết kế toàn diện trên GPU, CPU, mạng, lưu trữ và phần mềm để giảm bớt áp lực bộ nhớ GPU ngày càng tăng khi các mô hình AI phát triển và nguồn cung HBM thắt chặt cùng giá tăng, thay vì chỉ đơn thuần tăng dung lượng bộ nhớ GPU. Công ty cho biết trong các bài kiểm thử SemiAnalysis AgentX, GB300 NVL72 đạt thông lượng suy luận trên mỗi đơn vị chi phí cao gấp tới 10 lần so với H200 trên một số khối lượng công việc nhất định, trong khi Vera Rubin NVL72 đạt cao gấp tới 30 lần so với GB300 NVL72 chỉ với dung lượng HBM mỗi GPU nhiều hơn khoảng 3%.