Nghịch lý ký ức: Vì sao AI biết mọi thứ về nhân loại nhưng không nhớ nổi ngày hôm qua
TREE NEWS đưa tin: Các mô hình ngôn ngữ lớn có thể tiếp thu toàn bộ tri thức của nhân loại, vậy mà chúng lại gặp khó khăn trong việc ghi nhớ những gì đã xảy ra ngày hôm qua. Mâu thuẫn nền tảng này nằm ở trung tâm của một thách thức cấp bách trong trí tuệ nhân tạo: làm thế nào để duy trì việc ra quyết định nhất quán và liên tục theo thời gian khi hệ thống không thể mang theo toàn bộ quá khứ của mình.
Vấn đề này không mới. Năm 2015, các nhà nghiên cứu Matthew Hausknecht và Peter Stone đã nêu bật vấn đề này trong bối cảnh các trò chơi Atari. Một khung hình duy nhất của Pong chỉ cho thấy vị trí của các thanh chắn và quả bóng, chứ không cho thấy vận tốc của bóng. Nếu không biết hướng di chuyển, một tác tử không thể quyết định nên di chuyển thanh chắn của mình đến đâu. Quan sát không phải là trạng thái—và khoảng cách giữa chúng chính là nơi ký ức phải can thiệp.
Tác tử DQN của DeepMind, vốn đã học cách chơi hàng chục trò chơi Atari từ các pixel thô, đã đối mặt với chính tình thế tiến thoái lưỡng nan này. Các nhà nghiên cứu thừa nhận rằng nhiều trạng thái của trình giả lập bị “nhập nhằng về mặt tri giác”: hai tình huống khác nhau có thể tạo ra những màn hình giống hệt nhau. Cách khắc phục thì đơn giản nhưng thô bạo: xếp chồng bốn khung hình gần nhất làm đầu vào. Chuyển động trở nên hữu hình như sự thay đổi vị trí, nhưng cửa sổ ký ức lại cố định. Bất cứ thứ gì vượt quá bốn khung hình đều bị mất đi không thể cứu vãn.
Ranh giới cứng của ngữ cảnh
Sự thỏa hiệp bốn khung hình này phơi bày một sự thật sâu xa hơn. Dù cửa sổ là bốn khung hình hay bốn triệu token, bất kỳ ngữ cảnh cố định nào cũng áp đặt một ranh giới cứng. Thông tin nằm ngoài ranh giới đó bị xóa bỏ về mặt vật lý. Đối với các LLM ngày nay, cửa sổ ngữ cảnh—nay đã mở rộng đến hàng triệu token—vẫn là một cửa sổ trượt. Nó nắm bắt một bản tóm tắt của quá khứ, nhưng việc lựa chọn những gì cần đưa vào lại do những gì mô hình cần dự đoán tiếp theo quyết định. Những chi tiết bị lược bỏ khỏi bản tóm tắt đó không bao giờ có thể định hình các quyết định trong tương lai.
Hàm ý đối với các tác tử tự trị là rất sâu sắc. Trong các môi trường năng động—sàn giao dịch, robot, tương tác khách hàng—các tác tử phải nén lịch sử của mình thành một trạng thái vừa gọn gàng vừa có khả năng dự đoán. Đây không chỉ là một thách thức kỹ thuật; đó là sự đánh đổi nền tảng giữa ký ức và tính toán. Khi các tác tử chuyển từ truy xuất tri thức tĩnh sang tương tác liên tục, khả năng chắt lọc quá khứ thành một trạng thái hữu ích sẽ quyết định thành công của chúng.
Triển vọng tương lai
Các nhà nghiên cứu đang khám phá các giải pháp: kiến trúc hồi quy, ngân hàng bộ nhớ bên ngoài và tạo sinh tăng cường truy xuất. Tuy nhiên, mỗi cách tiếp cận đều đối mặt với cùng một ràng buộc—nguồn lực hữu hạn. Mục tiêu không phải là nhớ mọi thứ, mà là nhớ những gì quan trọng. Trong thế giới crypto, nơi các tác tử AI ngày càng được triển khai để phân tích on-chain và giao dịch, hạn chế này đặc biệt gay gắt. Một tác tử không thể nhớ lại điều kiện thị trường của giờ vừa qua giống như một người chơi Pong bị mù trước hướng đi của quả bóng. Thu hẹp khoảng cách giữa quan sát và trạng thái vẫn là chìa khóa để xây dựng trí tuệ tự trị thực sự bền bỉ.
