AI의 진짜 병목은 칩이 아니다: 베테랑 칩 설계자가 말하는 이제 지배하는 패키징, 인터커넥트, 메모리
TREE NEWS 보도: 테크 업계에서 “Mr. Bubble”로 알려진 베테랑 칩 설계자가 AI 컴퓨트 공급망에 대한 직설적인 재평가를 내놨다. 인공지능의 제약은 더 이상 로직 다이 자체가 아니라 첨단 패키징, 인터커넥트 지연시간, 그리고 메모리 계층이라는 것이다. 폭넓은 인터뷰에서 이 하드웨어 애널리스트는 무어의 법칙이 경제적 기반에서 사실상 파산했으며, 업계의 무게중심이 “더 빠른 칩 설계”에서 “실리콘부터 랙까지의 물리적 스택 통제”로 이동했다고 주장했다.
무어의 법칙의 경제성은 무너졌다
Mr. Bubble의 핵심 논지는 트랜지스터 축소가 더 이상 그 비용을 정당화하지 못한다는 것이다. 새로운 공정 노드로 나아가는 데는 이제 수백억 달러가 들지만, 얻는 것은 역사적인 두 배가 아니라 15~20%의 밀도 향상에 불과하다. 그 결과 첨단 패키징이 “새로운 무어의 법칙”이 되었다고 그는 말한다. 업계는 단위 면적당 트랜지스터를 끊임없이 축소하기보다 면적을 확장하고 여러 다이를 이어 붙여 하나의 칩처럼 작동시키는 방향으로 가고 있다.
이러한 전환은 공급망에 실질적인 영향을 미친다. 그는 Nvidia의 로드맵을 지목하며, 그것이 Nvidia 자체의 설계 야심보다 메모리와 패키징 공급업체가 무엇을 공급할 수 있는지에 더 제약을 받는다고 말한다. 당초 계획된 Rubin Ultra의 4다이 패키지는 1패키지당 2다이로 하향 조정되고, 두 패키지는 PCB로 연결된 것으로 전해졌다. 그런 세계에서는 GPU 설계자가 아니라 PCB 제조사가 새로운 병목이 된다.
컴퓨트의 단위는 이제 랙이다
모델 파라미터 수가 급증하면서 초점은 스케일아웃에서 스케일업으로 옮겨갔다. Mr. Bubble은 더 이상 칩을 진공 상태에서 설계할 수 없다고 주장한다. 설계 목표는 학습과 추론 모두에서 랙 전체, 혹은 여러 랙이다. 인터커넥트 처리량과 지연시간이 이제 클러스터의 생사를 결정한다.
그는 두 아키텍처를 대비한다. GPU에 쓸 수 있었을 랙 공간을 소비하는 대규모 NVSwitch 네트워크를 사용하는 Nvidia의 NVL72 시스템과, 라우팅 로직을 실리콘에 직접 내장해 스케일업 도메인이 약 9,600개 칩에 이르는 Google의 TPU 팀이다. 이러한 시스템 수준의 설계 역량이 미래 AI 하드웨어 벤더의 핵심 해자가 될 것이라고 그는 논한다.
메모리: HBM만이 아니라 플래시
추론에 관해 Mr. Bubble은 점점 더 비싸지는 HBM만이 유일한 답이라는 통념에 도전한다. 모델 가중치는 HBM에 속하지만, 모든 컨텍스트가 동시에 사용되지 않는다면 대규모 컨텍스트를 거기에 저장할 이유가 거의 없다고 그는 말한다. 플래시 컨트롤러가 AI 워크로드용으로 설계된다면, 더 저렴하고 용량이 큰 플래시——고대역폭 플래시(HBF)를 포함해——가 컨텍스트를 처리하는 “플래시 오프로드”가 성장할 것으로 그는 예상한다.
그의 장기적 베팅은 3D DRAM이다. 로직 바로 위에 DRAM을 직접 본딩해 지연시간을 줄이고 대역폭을 높이며 순전한 물리적 근접성으로 전력을 낮추는 것이다.
투자자를 위한 시사점
- 곡괭이와 삽을 보유하라. Mr. Bubble은 인재 유출이 알파를 잠식하며 죽을 때까지 경쟁할 것이라고 말하는 프런티어 AI 랩보다 10년 단위의 해자를 가진 하드웨어 계층 기업을 선호한다.
- 패키징과 PCB 종목을 주시하라. 다이 수가 늘고 패키지가 배가되면서 첨단 패키징과 PCB 제조사가 구조적 병목이 된다.
- 메모리 트레이드를 재고하라. HBM 수요는 가정보다 비탄력적이지 않을 수 있다. 플래시 컨트롤러, 3D DRAM, CXL형 메모리 확장은 저평가된 기회다.
- 설비투자 회수는 그럴듯하다. 그는 AI가 발견한 몇 가지 신약만으로도 데이터센터 구축 전체를 정당화할 수 있다고 주장한다. 급격한 이륙 시나리오이지 거품이 아니다.
시장에 대한 메시지는 이렇다. AI 트레이드는 칩 설계자로부터 실제로 비트를 옮기는 화려하지 않은 물리적 인프라로, 스택 아래로 이동하고 있다.
