Moore Threads mã nguồn mở hạ tầng huấn luyện Megatron-MUSA-Titan

TREE NEWS thông tin: Moore Threads đã mã nguồn mở Megatron-MUSA-Titan, một dự án hạ tầng huấn luyện mô hình lớn được xây dựng trên các GPU đầy đủ chức năng của hãng. Dự án hướng tới việc huấn luyện mô hình MoE nghìn tỷ tham số trên các cụm quy mô 10.000 GPU, bao gồm cả tiền huấn luyện và học tăng cường, đồng thời mang đến cho nhà phát triển khả năng thích ứng huấn luyện và tối ưu hóa hệ thống cho nền tảng MUSA.