엔비디아, 에이전트 AI를 위해 구축된 풀스택 아키텍처 ‘베라 루빈’ 공개
TREE NEWS 보도: 엔비디아 부사장 이안 벅은 차세대 베라 루빈 플랫폼을 상세히 설명하며, 다가오는 에이전트 AI 시대를 위한 처음부터 재설계된 것이라고 밝혔다. 이 플랫폼은 베라 루빈 NVL72 랙 시스템, 엔비디아의 커스텀 올림푸스 코어 기반의 새로운 베라 CPU, 초저지연 추론을 위한 Groq LPU 기반 가속, BlueField 기반 스마트 스토리지, 동적 전력 관리를 위한 MaxLPS 소프트웨어를 결합한다.
벅의 핵심 주장은 AI 하드웨어의 경제성이 재편되고 있다는 것이다. 토큰당 비용을 낮추는 가장 효과적인 방법은 GPU 가격을 낮추거나 저렴한 네트워킹을 사용하는 것이 아니라, 세대마다 10배에서 30배의 성능 향상을 제공하는 것이며, 이는 전체 데이터 센터에서 처리되는 모든 토큰의 비용을 직접적으로 절감한다.
챗에서 에이전트로: 100배 컴퓨트 충격
벅은 워크로드 프로필의 근본적인 변화를 강조했다. MLPerf Inference의 기반을 형성한 2023년 당시의 Chat 벤치마크는 약 1K 입력 토큰, 4K KV 캐시, 그리고 약 3라운드의 인간 참여형 대화를 가정했다. 에이전트 AI는 인간을 루프에서 완전히 제거한다. AgentX 벤치마크에서 평균 입력 크기는 142,000 토큰에 달했고, KV 캐시는 백만 토큰 컨텍스트를 지원하기 위해 팽창했으며, 순수 수치로 컴퓨트 수요는 100배 증가했다.
에이전트는 인간의 읽기와 타이핑을 기다리지 않고 자체적으로 프롬프트를 생성하고 추론 단계를 연쇄하기 때문에, 데이터 센터는 더 이상 인간의 지연 시간을 스케줄링 버퍼로 의존할 수 없다. 그 결과 거의 연속적이고 고강도 활용이 이루어진다.
새로운 지표: 메가와트당 토큰
벅은 업계의 핵심 성과 지표가 단일 칩 FLOPs에서 메가와트당 토큰으로 이동하고 있다고 주장했다. 이는 데이터 센터가 전력을 얼마나 효율적으로 수익으로 전환하는지를 측정하는 지표다. 이 지표에서 베라 루빈은 그레이스 블랙웰 대비 최대 30배의 AI 팩토리 처리량 향상을 제공하며, 일부 시나리오에서는 60배에 달한다고 SemiAnalysis 에이전트 벤치마크는 보여준다.
랙과 펌웨어 전력을 동적으로 관리하는 소프트웨어 계층인 MaxLPS는 운영자가 동일한 전력 범위 내에서 최대 40% 더 많은 랙을 배치할 수 있게 하여, 기가와트 규모 시설을 4,000개에서 5,600개 랙으로 확장하고 처리량을 초당 12억 토큰으로 끌어올린다.
시장 영향
- 반도체: 엔비디아는 CPU, GPU, 네트워킹, 스토리지, 전력 관리를 단일 플랫폼에 통합하여 해자를 넓히고 있다. 칩 수준 성능에 집중하는 경쟁사들은 시스템 수준 효율성을 따라잡기 어려울 수 있다.
- 데이터 센터 REIT와 유틸리티: 소프트웨어 정의 전력 관리는 새로운 전력 용량의 필요성을 지연시킬 수 있으며, 신규 건설 수요를 완화하는 대신 기존 사이트의 활용도를 높일 수 있다.
- 클라우드 제공업체: 베라 루빈을 조기에 도입하는 하이퍼스케일러는 토큰당 비용을 크게 낮출 수 있어, 최신 하드웨어에 접근하지 못하는 소규모 AI 클라우드에 압력을 가할 수 있다.
- AI 애플리케이션 계층: 더 저렴한 추론은 더 공격적인 에이전트 배포를 지원하며, 이는 엔터프라이즈 소프트웨어 전반에서 자율 AI 제품의 채택을 가속화할 수 있다.
- 네트워킹과 스토리지: NVLink Fusion은 엔비디아의 인터커넥트를 아마존의 Annapurna Labs와 스타트업 The Matrix를 포함한 타사 XPU에 개방하며, 이는 순수한 칩 경쟁보다 생태계 락인으로의 전환을 시사한다.
투자자를 위한 핵심 요점
엔비디아는 더 이상 칩을 판매하는 것이 아니라 AI 팩토리 경제성을 판매하고 있다. 베라 루빈에서 베라 루빈 울트라, 파인만, 파인만 울트라로 이어지는 연간 로드맵 케이던스는 성능 향상이 계속 복리로 쌓일 것임을 시사하며, 경쟁사들이 토큰당 비용 기준에서 격차를 좁히기 어렵게 만든다.
투자자들은 세 가지를 주시해야 한다: Oracle Cloud Infrastructure와 같은 주요 클라우드 제공업체의 베라 루빈 도입, MaxLPS 스타일 전력 관리가 데이터 센터 자본 지출을 재편하는 속도, 그리고 Groq LPU 통합이 초저지연 추론에서 지속 가능한 틈새를 만들어내는지 여부다. 더 넓은 메시지는 에이전트 시대에는 컴퓨트 효율성—칩 가격이 아닌—이 결정적인 경쟁 변수라는 것이다.
