AI 추론은 ‘토큰 공장’: 새로운 분석이 AI 인프라의 경제학을 재편하다

TREE NEWS 보도: 리서치 기업 SemiAnalysis의 대규모 신규 기술 보고서가 대규모 언어 모델(LLM) 추론의 근본 아키텍처를 체계적으로 해부하며, AI 추론은 단일 워크로드가 아니라 Prefill, Midfill, Decode Attention, Decode Experts의 네 가지 뚜렷한 단계로 구성된 다단계 산업 파이프라인——’토큰 공장’——이라고 주장했다. 9월 22일 발표된 이 분석은 Nvidia의 Blackwell GPU 시리즈를 사례 연구로 사용하며, 하드웨어 설계자, 클라우드 제공업체, 모델 배포자에게 직접적인 시사점을 제공한다.

무슨 일이 있었나

보고서의 핵심 주장은 추론을 하나의 동질적인 워크로드로 취급하는 것이 값비싼 실수라는 것이다. 네 단계 각각은 연산, 메모리 대역폭, 네트워킹에 근본적으로 다른 요구를 부과한다. Prefill은 연산에 묶여 있고, Midfill은 연산과 메모리 모두에 부담을 주며, Decode는 거의 전적으로 메모리 대역폭에 묶여 있다. 이들을 혼동하는 것은 Mixture-of-Experts(MoE) 아키텍처의 구조적 이점을 낭비한다고 보고서는 주장한다.

MoE 모델은 라우터에 의해 조정되면서 토큰당 ‘전문가’ 모듈의 작은 부분집합만 활성화한다. 이는 어떤 데이터가 연산에 가장 가까이 있어야 하는지를 바꾸고, 메모리, 대역폭, 스토리지의 가치 순서를 재편하며, 스케줄링을 기하급수적으로 더 복잡하게 만든다. KV 캐시 상태——각 대화의 ‘기억’——는 불변 블롭으로 저장되며 GPU HBM, CPU DRAM, SSD/네트워크 스토리지에 걸쳐 계층화된다. 보고서의 직관에 반하는 결론은 이렇다: 용량보다 대역폭이 더 중요하다. HBM은 활성 상태의 수익 창출 데이터를 위해 남겨두는 것이 최선이며, 유휴 컨텍스트는 더 저렴한 스토리지로 이동해야 한다.

보고서는 또한 ‘리타이어먼트 게이트 진동’——예측 불가능한 decode 시간이 prefill 적체와 과잉 보상을 유발해 처리량을 저하시키는 체계적 스케줄링 위험——에 대해 경고한다. 이는 레디 버퍼, 평활화된 어드미션 제어, 계층화된 제어 시간 척도를 포함한 정교한 완화 전략을 제시한다.

시장 시사점

이 분석은 단순한 학술적 차원을 훨씬 넘어선다. AI 인프라의 경쟁 구도를 재정의한다:

Nvidia의 해자와 취약성: 보고서는 Nvidia의 Blackwell(B200, B300, GB200)을 선도적 플랫폼으로 검증하며, 특히 저지연 decode를 위한 GB200의 NVL72 랙 스케일 아키텍처를 높이 평가한다. 그러나 대역폭 대 용량 트레이드오프를 부각함으로써, 원시 용량보다 고대역폭 메모리(HBM) 효율에 집중하는 경쟁자들이 틈새를 개척할 수 있음을 시사한다. 이는 SK하이닉스, 삼성, 마이크론 같은 HBM 공급업체에 긍정적 신호이지만, 용량 성장에만 베팅하는 이들에게는 경고다.
클라우드와 하이퍼스케일러 경제학: 분리형 대 집약형 아키텍처 논쟁은 이제 클라우드 자본지출의 중심에 있다. 분리형 시스템(prefill과 decode를 위한 별도 풀)이 더 효율적임이 입증되면, 클라우드 제공업체는 데이터센터를 재설계해야 할 수 있으며, 이는 네트워킹 및 인터커넥트 제공업체(Broadcom, Arista, Marvell)에 유리하게 작용한다. ‘범용’ 칩이 등장하면 집약형 아키텍처가 승리해 Nvidia의 가장 통합된 제품군에 유리할 수 있다.
AI 모델 경제학: 토큰당 경제성과 에너지 소비에 초점을 맞춘 보고서는——decode는 쿼리당 약 1000회의 순전파로 인해 최대 에너지 소비자다——AI 기업에 가해지는 비용 압력을 부각한다. 여기서의 효율 향상은 OpenAI, Anthropic, Google 같은 모델 제공업체의 매출총이익률에 직접 영향을 미친다.
암호화폐와 탈중앙화 컴퓨트: 보고서는 암호화폐를 언급하지 않지만, 그 발견은 탈중앙화 GPU 네트워크(예: Render, Akash, io.net)에 매우 관련성이 높다. 스케줄링, 메모리 계층화, 대역폭 최적화에 대한 강조는 탈중앙화 네트워크가 중앙집중식 하이퍼스케일러와 경쟁하려면 동일한 문제를 해결해야 함을 시사한다. 성공한다면 유휴 GPU 용량을 온체인에서 효율적으로 수익화할 수 있다는 테제가 입증될 것이다.

투자자를 위한 핵심 요점

하드웨어: 원시 용량에 집중하는 기업보다 고대역폭 메모리와 첨단 패키징을 가능하게 하는 기업(SK하이닉스, TSMC)을 선호하라. 네트워킹 및 인터커넥트 벤더는 분리형 아키텍처로부터 이익을 얻을 입장이다.
클라우드: 유연한 소프트웨어 정의 인프라를 갖춘 하이퍼스케일러(AWS, Google Cloud, Microsoft Azure)가 단계별 최적화에 적응하는 데 가장 유리한 위치에 있다. 이기종 컴퓨트 풀을 향한 자본지출 전환을 주시하라.
AI 모델: 추론 효율이 새로운 전장이다. 스케줄링과 메모리 오케스트레이션을 마스터하는 기업은 더 낮은 토큰당 비용과 더 높은 마진을 누릴 것이다.
암호화폐: 탈중앙화 컴퓨트 네트워크는 동일한 원칙에 대한 고위험·고수익 베팅이다. 설명된 스케줄링 정교함에 필적할 수 있다면, AI 추론 시장의 한 조각을 차지할 수 있을 것이다.

‘토큰 공장’ 프레임워크는 AI 인프라 경쟁의 다음 단계——소프트웨어 오케스트레이션과 메모리 계층이 원시 FLOPS만큼 중요해지는 단계——를 위한 로드맵을 제공한다.