Baidu phát hành ERNIE 5.5 Flash Base dưới dạng mã nguồn mở
TREE NEWS đưa tin: Baidu đã chính thức mã nguồn mở mô hình nền tảng mới nhất của mình, ERNIE 5.5 Flash Base. Mô hình sử dụng kiến trúc Mixture-of-Experts (MoE) với tổng cộng 280 tỷ tham số, kích hoạt 14 tỷ tham số cho mỗi token. Mô hình được tiền huấn luyện trên 33,5 nghìn tỷ token với độ dài ngữ cảnh tiền huấn luyện lên đến 128K, và hỗ trợ độ dài ngữ cảnh lên đến 1 triệu token trong quá trình tinh chỉnh và suy luận.
Thông số kỹ thuật và ý nghĩa
Việc phát hành đánh dấu một bước tiến quan trọng trong việc dân chủ hóa các mô hình ngôn ngữ lớn. Thiết kế MoE cho phép suy luận hiệu quả bằng cách chỉ kích hoạt một phần nhỏ trong tổng số tham số, giúp giảm chi phí tính toán trong khi vẫn duy trì hiệu suất cao. Kho ngữ liệu tiền huấn luyện khổng lồ 33,5 nghìn tỷ token và cửa sổ ngữ cảnh mở rộng 1 triệu token định vị mô hình cho các tác vụ hiểu và tạo sinh tài liệu dài, phức tạp.
Đối với hệ sinh thái crypto và Web3, những mô hình mã nguồn mở có năng lực cao như vậy có thể đẩy nhanh sự phát triển của các ứng dụng AI phi tập trung. Các dự án xây dựng tác nhân AI trên chuỗi, mạng lưới tính toán phi tập trung và thị trường dữ liệu AI có thể tận dụng ERNIE 5.5 Flash Base để giảm sự phụ thuộc vào các API độc quyền và tăng cường khả năng chống kiểm duyệt. Cửa sổ ngữ cảnh dài đặc biệt phù hợp cho việc phân tích dữ liệu blockchain, kiểm toán hợp đồng thông minh và đánh giá các đề xuất quản trị trên chuỗi.
Phân tích ngành
Động thái của Baidu làm gia tăng cạnh tranh trong không gian AI mã nguồn mở, sánh vai cùng Meta với Llama và Mistral. Bằng cách cung cấp một mô hình với 280 tỷ tham số, Baidu nhắm đến các trường hợp sử dụng doanh nghiệp và nghiên cứu đòi hỏi hiệu suất cao mà không cần chi phí huấn luyện từ đầu. Chiến lược mã nguồn mở cũng thúc đẩy đóng góp cộng đồng và lặp lại nhanh hơn.
Tuy nhiên, giao điểm crypto-AI vẫn còn non trẻ. Mặc dù các mô hình mở làm giảm rào cản, việc tích hợp chúng với cơ sở hạ tầng blockchain—như suy luận có thể xác minh, lưu trữ phi tập trung và truy cập mô hình được token hóa—vẫn đối mặt với những trở ngại kỹ thuật và pháp lý. Việc phát hành có thể thúc đẩy đổi mới trong các lĩnh vực như token hóa mô hình AI, nơi các mô hình được biểu diễn dưới dạng tài sản trên chuỗi, và các tổ chức tự trị phi tập trung (DAO) quản trị phát triển AI.
Góc nhìn hướng tới tương lai
Khi các mô hình AI trở nên cởi mở và dễ tiếp cận hơn, ngành crypto được định vị để hưởng lợi từ việc giảm sự phụ thuộc vào các nhà cung cấp AI tập trung. Sự kết hợp giữa cửa sổ ngữ cảnh lớn và hiệu quả của MoE có thể tạo điều kiện cho các ứng dụng phi tập trung mới, như DAO do AI điều khiển, tác nhân trên chuỗi tự trị và phân tích dữ liệu bảo vệ quyền riêng tư. Việc phát hành mã nguồn mở của Baidu cũng có thể gây áp lực buộc các gã khổng lồ công nghệ khác làm theo, tiếp tục hàng hóa hóa các mô hình nền tảng và chuyển dịch giá trị sang các lớp ứng dụng và cơ sở hạ tầng. Về lâu dài, điều này có thể đẩy nhanh sự hội tụ của AI và blockchain, tạo ra cơ hội mới cho các mạng lưới tính toán phi tập trung và các giao thức crypto tập trung vào AI.
