Nhấn Enter để tìm · ESC để đóng

AI × Crypto

Baidu mã nguồn mở ERNIE 5.5 Flash Base với 280 tỷ tham số

Baidu đã mã nguồn mở mô hình nền tảng mới nhất của mình, ERNIE 5.5 Flash Base. Đây là mô hình hỗn hợp chuyên gia (mixture-of-experts) với tổng cộng 280 tỷ tham số và kích hoạt 14 tỷ tham số mỗi token, được tiền huấn luyện trên 33,5 nghìn tỷ token với độ dài ngữ cảnh tiền huấn luyện lên đến 128K. Việc tinh chỉnh và suy luận hỗ trợ ngữ cảnh lên đến 1 triệu token.

Bài gốc

Chia sẻ

Tin liên quan

Thẻ chia sẻ TREE NEWS
Nhấn giữ ảnh trên → Lưu vào Ảnh / Chia sẻ
Gửi tin Góp ý