Anthropic 称智能体记忆的关键在于知道该忘什么,而非存多少

要点
- Anthropic 测试了 Claude 如何跨会话将信息存储到笔记文件中,并在后续任务中检索。
- 测试表明,有选择地记录策略和规则,比记录每一步效果更好——后者会让模型被过时的数据淹没。
- 通过一个名为“Dreaming”的会话后流程,系统在空闲时段分析此前的会话记录,以独立纠正有误的笔记并构建结构化的知识集合。
Anthropic 研究了 Claude 如何跨会话保留知识。其测试表明,有选择的笔记优于详尽的存档,而让 Claude 事后回顾自己的记忆可以纠正错误。
任何与 AI 智能体在同一个项目上合作数天的人都会很快撞墙,因为每个新会话都从零开始。在一篇研究文章中,Anthropic 描述了在模型保持不变的情况下,Claude 应如何跨会话保留知识。Claude 将笔记写入一个文件夹,之后可以再读回来。
根据 Anthropic 的说法,核心问题在于选择。在知道接下来会发生什么之前,智能体必须在当下判断什么以后可能重要,因此每条笔记都是对未来的一个赌注。

什么都保存的智能体会迷失方向
在 Anthropic 用《宝可梦 红》进行的一项测试中,较旧的 Claude Sonnet 3.7 把所有东西都视为可能重要,在大约 10,000 个游戏步骤中,于 225 个文件夹里创建了 413 个文件,常常为每场战斗和每个发现的物品单独建一个。由于游戏状态不断变化,存档很快就会过时。有时,模型什么都不做,只是整理笔记而不玩游戏,最终只获得了一枚徽章。
较新的 Claude Fable 5 将记忆限制在少数几个文件中,获得了四枚徽章。Fable 5 不记录屏幕上已经可见的信息,而是写下计划、策略和它测试过的规则。不过,Anthropic 的对比每个模型只覆盖了一次通关过程。

Anthropic 建议向 Claude 解释记忆的用途,并让模型自行决定如何使用它。据 Anthropic 称,在一项基准测试中,“只记录错误”这类僵化的指令抹掉了较强模型的大部分优势。相比之下,较旧的模型则受益于明确的指令,例如被告知在每次回复前真正阅读自己的笔记。

Dreaming 旨在修正虚假记忆
更大的风险来自智能体日后盲目信任的有误笔记。Dreaming 这一构想建立在 Letta 和 UC Berkeley 的研究之上,正是为解决这一问题而设计。就像人脑在睡眠中处理经历一样,Claude 在休息期间回顾此前会话的记录,并据此核对它的笔记。

在 Pokémon 测试中,Claude 错误地记录了一个地标位于山的哪一侧。由于依赖那条错误的笔记,Claude 三次掉进同一个陷阱,最终想要放弃,没能达成目标。经过一次 Dreaming 处理后,Claude 通过将笔记与对话记录核对发现了错误,并找到了正确的路径。

据 Anthropic 称,Dreaming 还能组织更大的知识库。Claude 依据 Anthropic 收购的软件公司 Stainless 约 350,000 份内部文档构建了一个相互链接的 wiki。Dreaming 应当能在生成新页面的同时修复空缺、重复和失效链接。当 Claude 能将 wiki 与搜索结合使用时收益最大,因此 wiki 起到的是补充而非替代的作用。

在 Anthropic 的另一项法律测试中,wiki 对答案分散在多个文档中的问题帮助最大。使用 wiki 时 Claude 得分为 87%,而仅使用搜索时为 73%。对于简单的查找任务,wiki 的表现与搜索大致相当,而且在一种情况下它甚至变得比源文档还要大。
记忆仍在完善中
Anthropic 承认一些关键问题仍未解决。在任务中途记笔记会让 agent 分心于工作,Dreaming 会消耗额外的算力,而且其结果要延迟一段时间才会出现。wiki 和笔记也需要定期维护,否则错误和幻觉会不断累积。Anthropic 还警告不要自动将过多记忆加载到每次会话中,因为它们会占用上下文,并把任何糟糕的笔记传递给未来的每一次会话。
所有这些测试都来自 Anthropic。总体结论是,有用的 agent 记忆与其说取决于尽可能多地存储,不如说取决于保留正确的信息并在之后纠正错误。
Anthropic 于 5 月将 Dreaming 作为 Claude Managed Agents(该公司面向 AI agent 的云平台)的研究预览版推出。该服务读取现有的记忆存储以及最多 100 次过往会话,删除重复和过时的条目,并创建一个重新组织的存储,同时保持原始存储不变。发布时,Dreaming 仅支持 Claude Opus 4.7 和 Sonnet 4.6。
OpenAI 也将 ChatGPT 的记忆功能称为“Dreaming”,并于 6 月对其进行了全面改造。该系统在后台维护用户档案并自动更正过时信息。据 OpenAI 称,这将时间准确率从 52.2% 提升至 75.1%。
Google 和 Google DeepMind 的研究人员也让 AI agent 做梦,但他们用 dreaming 来改进 agent 的搜索策略。他们的 agent 利用已经存储的结果来处理备选方案,而无需再次调用模型。Google 还构建了 WikiSkill,一个面向 agent 的 wiki。与 Anthropic 的系统一样,WikiSkill 将原始对话记录、提炼的知识和具体指令保存在不同的层中。
无炒作的 AI 新闻——由人工精选
文章标题:Anthropic 称智能体记忆的关键在于知道该忘记什么,而非存储多少
正文: 订阅 THE DECODER,即可享受无广告阅读、每周 AI 通讯、每年六期独家“AI Radar”前沿报告、完整内容存档访问权限,以及评论区的访问权限。