Newshot

Anthropic称智能体记忆的关键在于知道该忘记什么,而非存储多少

AI summary

Anthropic研究了Claude如何在不同会话间保留知识。选择性笔记的效果远超穷举式存档。在《宝可梦红》测试中,较新的Claude Fable 5仅保留少量策略文件而非400多个,进展达到较旧的Sonnet 3.7的四倍。一个“Dreaming”流程会追溯性地纠正错误记忆。

Translation(model translation, not the source's own text)

Anthropic 称智能体记忆的关键在于知道该忘什么,而非存多少

图片说明
图片说明

要点

  • Anthropic 测试了 Claude 如何跨会话将信息存储到笔记文件中,并在后续任务中检索。
  • 测试表明,有选择地记录策略和规则,比记录每一步效果更好——后者会让模型被过时的数据淹没。
  • 通过一个名为“Dreaming”的会话后流程,系统在空闲时段分析此前的会话记录,以独立纠正有误的笔记并构建结构化的知识集合。

Anthropic 研究了 Claude 如何跨会话保留知识。其测试表明,有选择的笔记优于详尽的存档,而让 Claude 事后回顾自己的记忆可以纠正错误。

任何与 AI 智能体在同一个项目上合作数天的人都会很快撞墙,因为每个新会话都从零开始。在一篇研究文章中,Anthropic 描述了在模型保持不变的情况下,Claude 应如何跨会话保留知识。Claude 将笔记写入一个文件夹,之后可以再读回来。

根据 Anthropic 的说法,核心问题在于选择。在知道接下来会发生什么之前,智能体必须在当下判断什么以后可能重要,因此每条笔记都是对未来的一个赌注。

两段《宝可梦 红》地图画面,显示玩家角色在月见山附近的悬崖边。左图中,它带着错误的笔记走向下一座城市;右图中,它带着纠正后的笔记返回洞穴入口。
两段《宝可梦 红》地图画面,显示玩家角色在月见山附近的悬崖边。左图中,它带着错误的笔记走向下一座城市;右图中,它带着纠正后的笔记返回洞穴入口。

什么都保存的智能体会迷失方向

在 Anthropic 用《宝可梦 红》进行的一项测试中,较旧的 Claude Sonnet 3.7 把所有东西都视为可能重要,在大约 10,000 个游戏步骤中,于 225 个文件夹里创建了 413 个文件,常常为每场战斗和每个发现的物品单独建一个。由于游戏状态不断变化,存档很快就会过时。有时,模型什么都不做,只是整理笔记而不玩游戏,最终只获得了一枚徽章。

较新的 Claude Fable 5 将记忆限制在少数几个文件中,获得了四枚徽章。Fable 5 不记录屏幕上已经可见的信息,而是写下计划、策略和它测试过的规则。不过,Anthropic 的对比每个模型只覆盖了一次通关过程。

两张同一尺度的矩形树图,对比 Claude Sonnet 3.7 的记忆文件夹(413 个文件,约 978,000 字符)与 Claude Fable 5(10 个文件,约 43,000 字符)。
两张同一尺度的矩形树图,对比 Claude Sonnet 3.7 的记忆文件夹(413 个文件,约 978,000 字符)与 Claude Fable 5(10 个文件,约 43,000 字符)。

Anthropic 建议向 Claude 解释记忆的用途,并让模型自行决定如何使用它。据 Anthropic 称,在一项基准测试中,“只记录错误”这类僵化的指令抹掉了较强模型的大部分优势。相比之下,较旧的模型则受益于明确的指令,例如被告知在每次回复前真正阅读自己的笔记。

左侧是 Sonnet 4.6 的柱状图,显示无记忆时为 0.330,有记忆时为 0.364,有记忆加精细化指令时为 0.641。右侧是当模型被要求只记录失败时,记忆带来的增益下降。
左侧是 Sonnet 4.6 的柱状图,显示无记忆时为 0.330,有记忆时为 0.364,有记忆加精细化指令时为 0.641。右侧是当模型被要求只记录失败时,记忆带来的增益下降。

Dreaming 旨在修正虚假记忆

更大的风险来自智能体日后盲目信任的有误笔记。Dreaming 这一构想建立在 Letta 和 UC Berkeley 的研究之上,正是为解决这一问题而设计。就像人脑在睡眠中处理经历一样,Claude 在休息期间回顾此前会话的记录,并据此核对它的笔记。

两段会话之间记忆层级的示意图,展示了对话记录、记忆笔记、如 wiki 之类的记忆表示以及注入的上下文,整体框在一个标注为“Dreaming”的区域内
两段会话之间记忆层级的示意图,展示了对话记录、记忆笔记、如 wiki 之类的记忆表示以及注入的上下文,整体框在一个标注为“Dreaming”的区域内

在 Pokémon 测试中,Claude 错误地记录了一个地标位于山的哪一侧。由于依赖那条错误的笔记,Claude 三次掉进同一个陷阱,最终想要放弃,没能达成目标。经过一次 Dreaming 处理后,Claude 通过将笔记与对话记录核对发现了错误,并找到了正确的路径。

折线图追踪在 3,000 次动作中前往 Cerulean City 的进展。带有记忆和 Dreaming 的运行在 1,935 次动作后到达该城市;没有记忆和没有纠正的运行则始终未能到达。
折线图追踪在 3,000 次动作中前往 Cerulean City 的进展。带有记忆和 Dreaming 的运行在 1,935 次动作后到达该城市;没有记忆和没有纠正的运行则始终未能到达。

据 Anthropic 称,Dreaming 还能组织更大的知识库。Claude 依据 Anthropic 收购的软件公司 Stainless 约 350,000 份内部文档构建了一个相互链接的 wiki。Dreaming 应当能在生成新页面的同时修复空缺、重复和失效链接。当 Claude 能将 wiki 与搜索结合使用时收益最大,因此 wiki 起到的是补充而非替代的作用。

折线图显示在关于一个文档语料库的 25 个问题中,达到评分标准的比例。wiki 加搜索从 54% 升至 61%,仅用 wiki 从 13% 升至 48%,仅用搜索则保持在 53%。两个网络图展示了经过 2 次和 128 次会话后的 wiki。
折线图显示在关于一个文档语料库的 25 个问题中,达到评分标准的比例。wiki 加搜索从 54% 升至 61%,仅用 wiki 从 13% 升至 48%,仅用搜索则保持在 53%。两个网络图展示了经过 2 次和 128 次会话后的 wiki。

在 Anthropic 的另一项法律测试中,wiki 对答案分散在多个文档中的问题帮助最大。使用 wiki 时 Claude 得分为 87%,而仅使用搜索时为 73%。对于简单的查找任务,wiki 的表现与搜索大致相当,而且在一种情况下它甚至变得比源文档还要大。

记忆仍在完善中

Anthropic 承认一些关键问题仍未解决。在任务中途记笔记会让 agent 分心于工作,Dreaming 会消耗额外的算力,而且其结果要延迟一段时间才会出现。wiki 和笔记也需要定期维护,否则错误和幻觉会不断累积。Anthropic 还警告不要自动将过多记忆加载到每次会话中,因为它们会占用上下文,并把任何糟糕的笔记传递给未来的每一次会话。

所有这些测试都来自 Anthropic。总体结论是,有用的 agent 记忆与其说取决于尽可能多地存储,不如说取决于保留正确的信息并在之后纠正错误。

Anthropic 于 5 月将 Dreaming 作为 Claude Managed Agents(该公司面向 AI agent 的云平台)的研究预览版推出。该服务读取现有的记忆存储以及最多 100 次过往会话,删除重复和过时的条目,并创建一个重新组织的存储,同时保持原始存储不变。发布时,Dreaming 仅支持 Claude Opus 4.7 和 Sonnet 4.6。

OpenAI 也将 ChatGPT 的记忆功能称为“Dreaming”,并于 6 月对其进行了全面改造。该系统在后台维护用户档案并自动更正过时信息。据 OpenAI 称,这将时间准确率从 52.2% 提升至 75.1%。

Google 和 Google DeepMind 的研究人员也让 AI agent 做梦,但他们用 dreaming 来改进 agent 的搜索策略。他们的 agent 利用已经存储的结果来处理备选方案,而无需再次调用模型。Google 还构建了 WikiSkill,一个面向 agent 的 wiki。与 Anthropic 的系统一样,WikiSkill 将原始对话记录、提炼的知识和具体指令保存在不同的层中。

无炒作的 AI 新闻——由人工精选

文章标题:Anthropic 称智能体记忆的关键在于知道该忘记什么,而非存储多少

正文: 订阅 THE DECODER,即可享受无广告阅读、每周 AI 通讯、每年六期独家“AI Radar”前沿报告、完整内容存档访问权限,以及评论区的访问权限。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by The Decoder
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗