按 Enter 搜索 · ESC 关闭

AI × Crypto

大模型的记忆死结:为什么AI记得住人类全部知识,却永远记不住“昨天”?

AI模型能存储海量知识,却难以持续记忆。将过去经验压缩为可用状态的挑战,是构建自主智能体的核心,从Atari到LLM皆如此。

大模型的记忆死结:为什么AI记得住人类全部知识,却永远记不住“昨天”?

大型语言模型能够容纳人类全部知识,却难以记住昨天发生的事。这一根本矛盾正成为人工智能领域亟待解决的难题:当系统无法随身携带全部过去时,如何跨越时间进行连贯的决策?

问题由来已久。2015年,学者Matthew Hausknecht与Peter Stone在关于Atari游戏智能体的论文中指出,单帧Pong游戏画面只能揭示球拍和球的位置,无法揭示球的速度。不知道球的移动方向,智能体就无法决定球拍的最佳位置。观测值不等于系统状态——而两者之间的鸿沟正是记忆需要介入的地方。

DeepMind的DQN智能体从原始像素学习玩数十款Atari游戏,也面临同样困境。研究者承认,许多仿真器状态存在“感知混淆”:两种不同情境可能产生完全相同的屏幕画面。补救方法简单直接:将最近四帧画面叠放作为输入。运动变为位置变化,可以直接看见,但记忆窗口是固定的。四帧之外的信息被彻底抹去。

上下文的硬边界

四帧的折中揭示了一个更深层的真相:无论窗口是四帧还是四百万个token,任何固定上下文都构成硬边界。边界之外的信息被物理抹去。对于当今的LLM,上下文窗口——现已扩展至数百万token——仍然是一个滑动窗口。它捕捉过去的摘要,但包含哪些内容取决于模型下一步需要预测什么。被摘要遗漏的细节永远无法影响未来决策。

这对自主智能体的影响深远。在动态环境——交易大厅、机器人、客户交互——中,智能体必须将历史压缩成既紧凑又具有预测性的状态。这不仅是工程挑战,更是记忆与计算之间的根本权衡。随着智能体从静态知识检索转向持续交互,将过去提炼为有用状态的能力将决定其成败。

未来展望

研究者正在探索解决方案:循环架构、外部记忆库、检索增强生成。然而每种方法都面临同样的约束——有限资源。目标不是记住一切,而是记住重要的事。在加密领域,AI智能体越来越多地用于链上分析和交易,这一局限尤为突出。一个无法回忆过去一小时市场状况的智能体,就像看不见球方向的Pong玩家。弥合观测与状态之间的鸿沟,仍是构建真正持久自主智能的关键。

查看原文

分享本文
风险提示 本站内容为币圈、区块链与 Web3 行业资讯的整理与呈现,仅供参考,不构成任何投资建议或收益承诺;虚拟货币相关业务在中国境内属非法金融活动,数字资产价格波动剧烈,据此操作风险自担。本站不提供交易、代币发行融资或相关导流服务。

相关阅读

最新快讯

TREE NEWS 分享卡片
长按上方图片 → 保存到相册 / 转发分享
寻求报道 加入社群 意见反馈