AI 인프라 경쟁, 메모리와 네트워킹이 핵심 병목으로 부상하며 새로운 국면 진입
TREE NEWS 보도: AI 인프라를 둘러싼 경쟁 구도가 근본적인 전환을 맞고 있다. AI 워크로드가 모델 학습에서 추론, 에이전트 시스템, 장문맥 워크플로로 진화하면서 순수한 컴퓨팅 파워만이 유일한 제약이 아니게 되었다. 네트워크 상호 연결성, 메모리 대역폭과 용량, 그리고 시스템 계층 전반에 걸친 데이터 전송 효율이 차세대 인프라 업그레이드를 결정짓는 변수가 되고 있다.
최근 열린 AI 인프라 서밋에서 브로드컴, 마벨, 삼성, AWS는 네트워킹, 스토리지, 커스텀 실리콘 전반에 걸친 전략을 공동으로 제시하며 하나의 통일된 신호를 보냈다. AI 워크로드가 더 복잡해질수록 인프라는 상호 연결 효율, 메모리 용량, 대역폭, 전력 소비, 비용을 동시에 해결해야 한다는 것이다.
브로드컴, AI 스케일아웃을 위한 이더넷에 베팅
브로드컴은 이더넷이 대규모 AI 인프라를 위한 선호 상호 연결 기술이 될 것이라는 확고한 논거를 제시했다. 이 회사는 자사 아키텍처가 대안 솔루션 대비 5년 총소유비용(TCO)에서 30% 이상의 절감을 제공한다고 주장한다. Tomahawk와 Jericho 시리즈가 이 전략의 중추를 이루며, 최신 Tomahawk 6는 102.4 Tbps에 도달해 세대마다 대역폭을 두 배로 늘리고 있다.
브로드컴의 AI 이더넷 포트폴리오는 이제 네트워크 인터페이스 카드(NIC), 스위치, 소프트웨어에 걸쳐 있다. 이 회사는 네트워크 효율이 높아지면 전력 소비, 냉각 요구사항, 운영 비용이 직접적으로 줄어든다고 주장한다.
마벨, 메모리 계층 최적화를 겨냥
마벨은 메모리 계층 과제에 집중했다. AI가 추론 집약적이고 장문맥적인 시나리오로 이동하면서 KV 캐시 크기가 빠르게 증가해 HBM 용량 한계를 초과할 수 있다. 이로 인해 시스템은 더 느린 메모리 계층에서 데이터를 다시 로드하거나 심지어 컨텍스트를 재계산해야 하며, 이는 추론 지연, 메모리 트래픽, 전력 소비를 증가시킨다.
시사점은 명확하다. 미래의 AI 인프라는 단순히 컴퓨팅을 추가하는 것이 아니라 메모리 계층과 데이터 전송 경로를 최적화해야 한다. 데이터는 서로 다른 컴퓨팅 및 스토리지 계층 전반에서 더 효율적으로 흘러야 한다.
삼성의 HBM 로드맵과 Z-NAND 야심
삼성은 공격적인 메모리 로드맵을 제시했다. 이 회사는 학습 수요가 약 3배 성장하는 반면 추론 수요는 100배까지 급증할 수 있다고 예상하며, 메모리, 스토리지, 전력, 열 관리의 중요성을 높이고 있다.
삼성은 HBM4E가 GPU당 16 TB/s 대역폭을 제공하고 HBM4 대비 와트당 성능이 20% 더 우수할 것으로 전망한다. HBM5는 HBM4E의 성능을 두 배로 높일 것으로 예상된다. 더 급진적으로, 삼성의 zHBM은 잠재적 파괴적 기술로 자리매김하며 HBM5 대비 단일 GPU 성능 4-8배 향상, 와트당 성능 3배 향상, 열 저항 75-90% 감소를 제공한다.
이 회사는 또한 TSV 적층을 사용하는 SLC NAND 기반의 Z-NAND를 소개했다. LPDDR5 DRAM에 필적하는 읽기 성능과 DRAM 대비 약 10배의 비트 밀도를 주장하며, 2028년 샘플링 시작이 예상된다.
AWS와 커스텀 실리콘의 경제학
AWS는 시스템 효율을 위한 지렛대로 커스텀 실리콘을 강조했다. 이 회사는 Graviton, Inferentia, Trainium 칩에 걸친 포트폴리오를 구축했다. AWS는 “단위 비용당 메모리 대역폭”을 Trainium의 핵심 이점으로 꼽으며, 이 지표가 AI 학습 경제성과 토큰 효율에 직접 영향을 미친다고 주장한다.
시장 시사점
반도체: 컴퓨팅 중심에서 시스템 중심 최적화로의 전환은 다양한 AI 인프라 노출을 가진 기업에 유리하게 작용한다. 브로드컴과 마벨은 네트워킹 및 커스텀 실리콘 수요의 수혜를 입을 것으로 보인다. 삼성의 HBM 로드맵은 고대역폭 메모리 경쟁에서의 입지를 강화하지만, 실행 리스크는 여전히 남아 있다.
클라우드 제공업체: AWS의 커스텀 실리콘 강조는 하이퍼스케일러들 사이의 지속적인 수직 통합을 시사하며, 시간이 지나면 상용 GPU 벤더에 대한 의존을 줄일 가능성이 있다. 이는 순수 GPU 공급업체의 마진에 압력을 가하는 동시에 클라우드 제공업체의 비용 구조에는 이익이 될 수 있다.
네트워킹과 메모리: 독점 상호 연결보다 이더넷에 대한 집중은 개방형 표준 채택을 가속화해 네트워킹 장비 벤더에 이익이 될 수 있다. 고급 HBM 및 NAND 로드맵을 갖춘 메모리 제조사들은 지속적인 수요 성장에 대비한 위치에 있다.
광범위한 기술: AI 인프라가 더 시스템 최적화됨에 따라 AI 배포의 총비용이 낮아져 기업 도입이 가속화되고 AI 애플리케이션의 잠재 시장이 확대될 수 있다.
투자자를 위한 핵심 요점
- GPU를 넘어 AI 노출을 다각화하라: 네트워킹, 메모리, 커스텀 실리콘이 AI 확장에 똑같이 중요해지고 있다. 투자자는 컴퓨팅 중심 종목 너머를 살펴봐야 한다.
- HBM과 고급 메모리 로드맵을 주시하라: 삼성의 공격적인 목표와 경쟁사들의 대응이 2028년까지 메모리 경쟁 구도를 형성할 것이다.
- 이더넷 대 InfiniBand: 브로드컴의 이더넷 추진은 데이터센터 네트워킹 경제성을 재편할 수 있으며, 장비 벤더와 클라우드 운영자 모두에 영향을 미친다.
- 커스텀 실리콘 모멘텀: AWS의 Trainium 전략은 하이퍼스케일러들이 토큰당 비용을 최적화하는 방식을 부각시키며, 이는 상용 칩 벤더에 압력을 가할 수 있는 추세다.
- 시스템 수준 최적화가 새로운 전선이다: AI 인프라 경쟁은 더 이상 FLOPS만의 문제가 아니라 전체 스택 전반의 데이터 이동 효율의 문제다.
