Suy luận AI là một ‘Nhà máy Token’: Phân tích mới định hình lại kinh tế học của hạ tầng AI

TREE NEWS đưa tin: Một báo cáo kỹ thuật mới quan trọng từ công ty nghiên cứu SemiAnalysis đã mổ xẻ một cách hệ thống kiến trúc nền tảng của suy luận mô hình ngôn ngữ lớn (LLM), lập luận rằng suy luận AI không phải là một khối lượng công việc đơn nhất mà là một đường ống công nghiệp đa giai đoạn — một ‘Nhà máy Token’ — bao gồm bốn giai đoạn riêng biệt: Prefill, Midfill, Decode Attention và Decode Experts. Phân tích được công bố vào ngày 22 tháng 9 này sử dụng dòng GPU Blackwell của Nvidia làm nghiên cứu điển hình và mang hàm ý trực tiếp cho các nhà thiết kế phần cứng, nhà cung cấp đám mây và đơn vị triển khai mô hình.

Điều gì đã xảy ra

Luận điểm trung tâm của báo cáo là việc coi suy luận như một khối lượng công việc đồng nhất duy nhất là một sai lầm tốn kém. Mỗi giai đoạn trong bốn giai đoạn đặt ra những yêu cầu hoàn toàn khác nhau đối với tính toán, băng thông bộ nhớ và mạng. Prefill bị giới hạn bởi tính toán; Midfill gây áp lực lên cả tính toán lẫn bộ nhớ; Decode gần như hoàn toàn bị giới hạn bởi băng thông bộ nhớ. Báo cáo lập luận rằng việc gộp chung chúng lại sẽ lãng phí các lợi thế cấu trúc của kiến trúc Mixture-of-Experts (MoE).

Các mô hình MoE chỉ kích hoạt một tập hợp nhỏ các mô-đun ‘chuyên gia’ cho mỗi token, được điều phối bởi một bộ định tuyến. Điều này thay đổi dữ liệu nào phải nằm gần tính toán nhất, sắp xếp lại giá trị của bộ nhớ, băng thông và lưu trữ, đồng thời khiến việc lập lịch trở nên phức tạp theo cấp số nhân. Các trạng thái bộ đệm KV — ‘bộ nhớ’ của mỗi cuộc hội thoại — được lưu trữ dưới dạng các blob bất biến và được phân tầng trên GPU HBM, CPU DRAM và lưu trữ SSD/mạng. Kết luận phản trực giác của báo cáo: băng thông quan trọng hơn dung lượng. HBM tốt nhất nên được dành riêng cho dữ liệu đang hoạt động, tạo ra doanh thu, trong khi ngữ cảnh nhàn rỗi nên được di chuyển sang lưu trữ rẻ hơn.

Báo cáo cũng cảnh báo về ‘dao động cổng nghỉ hưu’ (retirement-gated oscillation) — một rủi ro lập lịch mang tính hệ thống, trong đó thời gian decode không thể dự đoán gây ra tồn đọng prefill và bù trừ quá mức, làm suy giảm thông lượng. Báo cáo phác thảo các chiến lược giảm thiểu tinh vi bao gồm bộ đệm sẵn sàng, kiểm soát tiếp nhận được làm mượt và các thang thời gian kiểm soát phân lớp.

Hàm ý thị trường

Phân tích này vượt xa mức học thuật. Nó định hình lại bối cảnh cạnh tranh cho hạ tầng AI:

Hào bảo vệ và lỗ hổng của Nvidia: Báo cáo xác nhận Blackwell của Nvidia (B200, B300, GB200) là một nền tảng hàng đầu, đặc biệt là kiến trúc quy mô rack NVL72 của GB200 cho decode độ trễ thấp. Tuy nhiên, bằng cách nhấn mạnh sự đánh đổi giữa băng thông và dung lượng, báo cáo gợi ý rằng các đối thủ tập trung vào hiệu quả bộ nhớ băng thông cao (HBM) — thay vì dung lượng thô — có thể tạo ra các thị trường ngách. Đây là tín hiệu tích cực cho các nhà cung cấp HBM như SK Hynix, Samsung và Micron, nhưng là lời cảnh báo cho những ai chỉ đặt cược vào tăng trưởng dung lượng.
Kinh tế học đám mây và siêu quy mô: Cuộc tranh luận giữa kiến trúc phân tách và kiến trúc tổng hợp giờ đây là trọng tâm của chi tiêu vốn đám mây. Nếu các hệ thống phân tách (các nhóm riêng biệt cho prefill và decode) tỏ ra hiệu quả hơn, các nhà cung cấp đám mây có thể cần thiết kế lại trung tâm dữ liệu, có lợi cho các nhà cung cấp mạng và kết nối (Broadcom, Arista, Marvell). Nếu một chip ‘phổ quát’ xuất hiện, kiến trúc tổng hợp có thể thắng thế, có lợi cho các sản phẩm tích hợp nhất của Nvidia.
Kinh tế học mô hình AI: Trọng tâm của báo cáo vào kinh tế học trên mỗi token và tiêu thụ năng lượng — decode là đối tượng tiêu thụ năng lượng lớn nhất do khoảng 1000 lượt truyền xuôi mỗi truy vấn — nhấn mạnh áp lực chi phí đối với các công ty AI. Lợi ích về hiệu quả ở đây tác động trực tiếp đến biên lợi nhuận gộp của các nhà cung cấp mô hình như OpenAI, Anthropic và Google.
Tiền mã hóa và tính toán phi tập trung: Mặc dù báo cáo không đề cập đến tiền mã hóa, các phát hiện của nó rất liên quan đến các mạng GPU phi tập trung (ví dụ: Render, Akash, io.net). Sự nhấn mạnh vào lập lịch, phân tầng bộ nhớ và tối ưu hóa băng thông gợi ý rằng các mạng phi tập trung phải giải quyết chính những vấn đề này để cạnh tranh với các siêu quy mô tập trung. Thành công sẽ xác thực luận điểm rằng công suất GPU nhàn rỗi có thể được kiếm tiền hiệu quả trên chuỗi.

Điểm chính cho nhà đầu tư

Phần cứng: Ưu tiên các công ty hỗ trợ bộ nhớ băng thông cao và đóng gói tiên tiến (SK Hynix, TSMC) hơn những công ty tập trung vào dung lượng thô. Các nhà cung cấp mạng và kết nối sẽ được hưởng lợi từ kiến trúc phân tách.
Đám mây: Các siêu quy mô có hạ tầng linh hoạt, được định nghĩa bằng phần mềm (AWS, Google Cloud, Microsoft Azure) có vị thế tốt nhất để thích ứng với tối ưu hóa theo từng giai đoạn. Hãy theo dõi sự dịch chuyển chi tiêu vốn hướng tới các nhóm tính toán không đồng nhất.
Mô hình AI: Hiệu quả suy luận là chiến trường mới. Các công ty nắm vững lập lịch và điều phối bộ nhớ sẽ có chi phí trên mỗi token thấp hơn và biên lợi nhuận cao hơn.
Tiền mã hóa: Các mạng tính toán phi tập trung là một canh bạc rủi ro cao, lợi nhuận cao dựa trên cùng những nguyên tắc đó. Nếu chúng có thể sánh ngang với mức độ tinh vi về lập lịch được mô tả, chúng có thể chiếm một phần thị trường suy luận AI.

Khung ‘Nhà máy Token’ cung cấp một lộ trình cho giai đoạn tiếp theo của cuộc cạnh tranh hạ tầng AI — giai đoạn mà điều phối phần mềm và phân cấp bộ nhớ quan trọng không kém gì FLOPS thô.