메모리 월이 AI 최대 병목으로 부상
TREE NEWS 보도: AI 인프라 붐이 하드한 아키텍처 한계에 부딪히고 있다. 메모리 대역폭과 용량이 모델 크기보다 훨씬 느리게 성장하고 있기 때문이다. 2026 AI 인프라 서밋에서 Micron, Samsung, SK Hynix, Broadcom, Marvell, Intel, Qualcomm, OpenAI, AWS, Google 등 주요 칩 제조사, 클라우드 제공업체, AI 연구소들이 하나의 합의에 도달했다. 메모리와 스토리지를 전문화된 계층으로 분리(disaggregation)하는 것이 이제 가장 실행 가능한 경로라는 것이다.
Transformer 모델은 약 2년마다 크기가 두 배로 늘어나 해당 기간 동안 약 240배 성장한 반면, 메모리 대역폭과 용량은 약 2배만 성장했다. 이처럼 벌어지는 격차, 이른바 ‘메모리 월’은 전통적인 GPU 중심 아키텍처를 점점 지속 불가능하게 만들고 있다. 업계는 순수 연산(FLOPs)에서 토큰당 와트(tokens/W)와 토큰당 달러(tokens/$) 같은 효율 지표로 이동하고 있다.
새로운 메모리 기술이 중심에 서다
Qualcomm은 LPDDR 메모리를 연산 칩 위에 직접 적층하는 HBC(High Bandwidth Compute) 솔루션을 공개했다. SRAM 대비 약 200배의 용량당 와트, HBM 대비 6배의 대역폭당 와트를 달성한다. Samsung의 zHBM도 유사한 3D DRAM 적층 방식을 따른다. SK Hynix는 세 가지 전문화된 메모리 계층을 강조했다. 메모리 집약적 워크로드용 PIM(processing-in-memory)은 SRAM 대비 랙당 288배의 용량을 제공한다. 장문 컨텍스트 시나리오용 HBF(high bandwidth flash)는 HBM의 약 10배 용량을 갖는다. 그리고 SALT-KV는 계층 간 온도 인식 KV 캐시 스케줄링을 위한 소프트웨어 솔루션이다.
오픈 인터커넥트와 커스텀 실리콘
Ethernet은 스케일아웃 네트워킹에서 지배력을 굳히고 있으며, Broadcom은 모든 계층에서 이를 밀어붙이고 있다. 스케일아웃용 Tomahawk 6(102.4T), 스케일업용 Thor Ultra NIC와 ESUN, 크로스 도메인 인터커넥트용 Jericho 4로 모두 개방형 아키텍처다. Marvell은 엔드투엔드 커스텀 XPU 부착, 전광 인터커넥트 키트, 멀티 프로토콜 지원(UALink, NVLink Fusion, ESUN)을 제공한다. Astera Labs는 표준 PCIe를 활용해 Scorpio와 Leo 칩으로 인터커넥트 및 메모리 솔루션을 구축하고 있다.
커스터마이징은 오픈 표준과 함께 증가하고 있으며, 하이퍼스케일러들은 특정 워크로드에 최적화된 실리콘을 추구한다. 이 추세는 Broadcom, Marvell, Astera Labs처럼 제품 포트폴리오가 이러한 변화에 직접 부합하는 기업에 유리하게 작용한다.
제조 속도와 신뢰성이 칩 설계와 경쟁
서밋의 핵심 주제 중 하나는 출시 시점(time-to-market)과 시스템 신뢰성이 이제 칩 설계 자체만큼 중요하다는 점이었다. AWS는 테스트 용량을 배포 규모에 맞추고 제조를 배포 현장과 같은 위치에 두어 실리콘 이후 테스트 및 안정화 기간을 6~9개월에서 압축했다. 네이티브 PyTorch 지원과 최소 코드 Hugging Face 이식성을 포함한 소프트웨어 공동 설계가 칩에서 애플리케이션으로 가는 경로를 가속하고 있다.
시장 시사점
메모리 분리와 효율 우선 지표로의 전환은 반도체 투자자에게 깊은 영향을 준다. 전문화된 메모리 솔루션(Micron, Samsung, SK Hynix), 커스텀 실리콘(Broadcom, Marvell), 인터커넥트(Astera Labs)를 제공하는 기업은 데이터센터 아키텍처가 진화함에 따라 수혜를 입을 위치에 있다. tokens/W와 tokens/$의 강조는 전력 효율과 토큰당 비용이 핵심 경쟁 차별화 요소가 될 것이며, GPU, ASIC, 메모리 벤더 간 시장 점유율을 재편할 가능성이 있다.
클라우드 제공업체에게 커스텀 실리콘을 신속하게 배포하고 반복하는 능력은 비용을 낮추고 마진을 개선할 수 있지만, 더 깊은 수직 통합과 소프트웨어 전문성도 요구한다. 오픈 인터커넥트 추세는 NVLink 같은 독점 솔루션에 대한 의존을 줄여 더 경쟁적인 생태계를 조성할 수 있다.
투자자를 위한 핵심 요점
- 메모리 분리가 새로운 전장: 전문화된 메모리 계층(PIM, HBF, HBC)과 첨단 패키징(3D 적층)을 제공하는 기업이 성장할 준비가 되어 있다.
- 효율 지표가 중요: tokens/W와 tokens/$가 조달 결정을 점점 더 좌우하며, 우수한 전력 효율을 가진 벤더가 유리해진다.
- 오픈 인터커넥트가 견인: Ethernet과 오픈 표준이 독점 패브릭을 대체하면서 Broadcom, Marvell, Astera Labs가 유리한 위치에 있다.
- 속도와 신뢰성이 차별화 요소: AWS의 압축된 테스트 주기는 시스템 수준 엔지니어링과 소프트웨어 공동 설계의 중요성을 보여준다.
- 커스텀 실리콘 수요 상승: 하이퍼스케일러의 맞춤형 칩 추진은 ASIC 설계자와 IP 제공업체에 혜택을 준다.
AI 모델이 계속 확장됨에 따라, 분리와 효율 향상을 통해 메모리 월을 돌파하는 업계의 능력이 AI 인프라 구축 속도와 반도체 공급망의 승자를 결정할 것이다.
