Điều chỉnh điểm chuẩn GPT-6 Astra của OpenAI gây ra câu hỏi về tính minh bạch
TREE NEWS đưa tin: OpenAI chính thức phát hành GPT-6 Astra, quảng bá nó là ‘mô hình thông minh nhất và được căn chỉnh tốt nhất thế giới’, nhưng dữ liệu điểm chuẩn đi kèm đã trải qua nhiều lần chỉnh sửa, gây ra sự giám sát từ các nhà phát triển và nhà phân tích ngành. Theo Fortune, OpenAI đã liên tục điều chỉnh các chỉ số đánh giá, với một số thay đổi cải thiện điểm số của Astra trong khi hạ điểm của các đối thủ cạnh tranh.
Biến động dữ liệu chính
- Tỷ lệ ảo giác: Ban đầu được báo cáo là 4.2%, sau đó được điều chỉnh xuống 2%, trước khi được khôi phục về 4.2%.
- Điểm ARC-AGI-3: Cải thiện từ 98.6% trước khi ra mắt lên 99.99% trên trang sản phẩm hiện tại.
- Tác động đến đối thủ: Điểm FrontierMath Tier 4 của Fable 5.1 của Anthropic giảm từ 87.8% xuống 78%, sau đó phục hồi lên 83%.
Hàm ý đối với ngành
Mô hình điều chỉnh – đặc biệt là sự sụt giảm tạm thời trong điểm số của đối thủ cạnh tranh – làm dấy lên lo ngại về việc gian lận điểm chuẩn và báo cáo có chọn lọc. Trong ngành AI, kết quả điểm chuẩn ảnh hưởng lớn đến nhận thức và áp dụng trên thị trường. Nếu các điều chỉnh thiếu phương pháp luận rõ ràng, niềm tin vào các đánh giá AI sẽ bị xói mòn, ảnh hưởng đến mọi thứ từ mua sắm doanh nghiệp đến giám sát quy định.
Đối với các dự án AI tiền điện tử và phi tập trung, sự cố này nhấn mạnh giá trị của các hệ thống đánh giá có thể xác minh và trên chuỗi. Các mạng AI phi tập trung có thể cung cấp các dấu vết kiểm toán bất biến cho hiệu suất mô hình, giảm sự phụ thuộc vào các tuyên bố tập trung.
Quan điểm hướng tới tương lai
Trong tương lai, sẽ có những lời kêu gọi về các cuộc kiểm toán điểm chuẩn tiêu chuẩn hóa của bên thứ ba. OpenAI có thể cần công bố nhật ký sửa đổi chi tiết để duy trì uy tín. Trong khi đó, các chợ dữ liệu và tính toán phi tập trung có thể tận dụng sự ngờ vực này bằng cách thúc đẩy các chỉ số AI minh bạch, được xác minh bởi cộng đồng. Sự giao thoa giữa AI và tiền điện tử có thể thấy nhu cầu tăng lên đối với các cơ chế ‘bằng chứng thông minh’ đảm bảo tính toàn vẹn của điểm chuẩn.
