Tranh luận đặt tên Token phản ánh những vấn đề nhận thức AI sâu xa hơn
Trong giới AI Trung Quốc, thuật ngữ “Token” từ lâu đã được dịch là “词元” (đơn vị từ), một cái tên nhấn mạnh vai trò ngôn ngữ của nó. Nhưng khi các mô hình AI phát triển vượt ra ngoài văn bản để xử lý hình ảnh, âm thanh và video, những người phê bình cho rằng “词元” gây hiểu lầm. Ngày càng nhiều nhà nghiên cứu và nhà phát triển ủng hộ “符元” (đơn vị ký hiệu), mà họ nói rằng nắm bắt tốt hơn bản chất cơ bản của token như những ký hiệu rời rạc, xuyên phương thức.
Cuộc tranh luận không chỉ là ngữ nghĩa. Nó chạm đến cách chúng ta khái niệm hóa các đơn vị tính toán cơ bản trong hệ thống AI, và cách những khái niệm đó định hình thiết kế mô hình, biểu diễn dữ liệu, và thậm chí cả hiểu biết công chúng về năng lực AI.
Lập luận chống lại “词元”
Những người ủng hộ “符元” lập luận rằng “词元” mắc phải sự phụ thuộc lịch sử và neo ngữ nghĩa. Khi thuật ngữ này lần đầu được đặt ra, AI chủ yếu dựa trên văn bản, và token thực sự chủ yếu là từ hoặc từ phụ. Nhưng các mô hình hiện đại như GPT-4o và Gemini xử lý các token đại diện cho pixel, khung âm thanh, hoặc thậm chí các khái niệm trừu tượng. Gọi những thứ này là “đơn vị từ” là không chính xác và hạn chế tư duy.
Hơn nữa, “词元” tạo ra sự nhầm lẫn trong dịch ngược. Trong tiếng Anh, “token” là một thuật ngữ trung tính áp dụng cho mọi phương thức. Dịch nó là “đơn vị từ” ngụ ý một thiên kiến ngôn ngữ không tồn tại trong bản gốc. Sự không nhất quán này có thể dẫn đến hiểu lầm trong hợp tác quốc tế và trong thiết kế các mô hình đa ngôn ngữ.
“符元” như một nền tảng ổn định hơn
“符元” phù hợp với bản chất tính toán của token: chúng là những ký hiệu rời rạc có thể đại diện cho bất kỳ loại dữ liệu nào. Trong lý thuyết thông tin, ký hiệu là đơn vị cơ bản của một thông điệp, và token về bản chất là các ký hiệu trong một từ vựng được học. Cách đặt tên này không phụ thuộc phương thức và có tính tương lai, phù hợp không chỉ với văn bản mà còn với hình ảnh, âm thanh và dữ liệu cảm biến.
Hơn nữa, “符元” có tiền lệ lịch sử trong khoa học máy tính Trung Quốc. Thuật ngữ “符号” (ký hiệu) được sử dụng rộng rãi trong toán học và logic, và “符元” mở rộng truyền thống đó một cách tự nhiên. Nó tránh sự hẹp hòi ngôn ngữ của “词元” và cung cấp một khung nhận thức nhất quán hơn cho các nhà nghiên cứu và kỹ sư.
Hàm ý cho phát triển và giáo dục AI
Việc đặt tên cho các khái niệm cơ bản có hậu quả thực tế. Trong giáo dục, sử dụng “词元” có thể khiến sinh viên nghĩ về AI như một công cụ xử lý văn bản, trong khi “符元” khuyến khích một quan điểm rộng hơn về AI như một bộ thao tác ký hiệu đa dụng. Trong nghiên cứu, thuật ngữ chính xác có thể thúc đẩy giao tiếp liên ngành tốt hơn, đặc biệt khi AI giao thoa với các lĩnh vực như khoa học thần kinh, khoa học nhận thức và xử lý đa phương tiện.
Tiêu chuẩn ngành và tài liệu cũng quan trọng. Nếu các nền tảng AI lớn và dự án mã nguồn mở áp dụng “符元”, nó có thể trở thành tiêu chuẩn thực tế, ảnh hưởng đến cách các mô hình tương lai được mô tả và hiểu. Lựa chọn này không tầm thường; nó định hình mô hình tinh thần của cả một thế hệ người hành nghề AI.
Góc nhìn hướng tới tương lai
Khi AI tiếp tục phát triển hướng tới các hệ thống đa phương thức và hiện thân, nhu cầu về thuật ngữ chính xác, trung lập về phương thức sẽ chỉ tăng lên. Sự chuyển dịch từ “词元” sang “符元” đại diện cho sự trưởng thành của lĩnh vực này, rời xa các giả định lấy văn bản làm trung tâm hướng tới một hiểu biết phổ quát hơn về tính toán. Mặc dù cuộc tranh luận có vẻ học thuật, nó phản ánh một nhận thức rộng hơn rằng ngôn ngữ chúng ta dùng để mô tả AI định hình AI mà chúng ta xây dựng. Cuối cùng, “符元” có thể trở thành tiêu chuẩn, nhưng quan trọng hơn, bản thân cuộc thảo luận báo hiệu một sự tự nhận thức lành mạnh trong cộng đồng AI.
