Baidu mã nguồn mở ERNIE 5.5 Flash Base với 280 tỷ tham số

TREE NEWS thông tin: Baidu đã mã nguồn mở mô hình nền tảng mới nhất của mình, ERNIE 5.5 Flash Base. Đây là mô hình hỗn hợp chuyên gia (mixture-of-experts) với tổng cộng 280 tỷ tham số và kích hoạt 14 tỷ tham số mỗi token, được tiền huấn luyện trên 33,5 nghìn tỷ token với độ dài ngữ cảnh tiền huấn luyện lên đến 128K. Việc tinh chỉnh và suy luận hỗ trợ ngữ cảnh lên đến 1 triệu token.