Meta FAIR 推出了 Self-Improving Memory,一种让 AI 智能体自行管理记忆的方法。模型首先自行发现记忆指令,然后将这些技能训练进其权重中。共同作者包括来自华盛顿大学和约翰斯·霍普金斯大学的研究人员。
TL;DR
- 方法:基础模型是 Kimi-K2.6,一个 1T 参数的 MoE,激活参数 32B,上下文长度 256K。蒸馏在注意力投影层上添加了一个 LoRA 适配器(rank 64)。
- 运行环境:训练硬件未披露。Kimi-K2.6 推理需要多 GPU 节点;Vast.ai 推荐 8x H200。存在原生 INT4 权重。
- 性能:自发现的记忆提示词在 3 个任务上平均得分 56.0,而最佳人工编写的提示词为 44.6。
- 最佳:Codebase,使用优化提示词达到 64.3,比最佳手写 harness 高 20.6。
- 最差:Spectrum 上蒸馏仅提升 2.9 分(46.5 对比通用运行上 SFT 的 43.6)。
什么是 Self-Improving Memory?
Self-Improving Memory 是 Meta FAIR 提出的一种两阶段方法,教智能体模型管理基于文件的记忆。智能体在一系列子任务中工作。每个子任务从空上下文开始。只有通过文件工具编辑的持久化记忆目录会被保留下来。
两个提示词控制该记忆。OFFLOAD 在子任务结束后更新记忆。LOAD 在下一个子任务开始前检索笔记。通用版本将策略留给模型自行决定。研究博客中的一项初步研究发现,没有任何一种手写策略能在所有任务中胜出。
harness 优化是如何工作的?
在第 1 阶段,一个元智能体重写 LOAD 和 OFFLOAD 提示词。搜索从 4 个人工编写的种子开始:Summary、Retrieval、Skill 和 Hypothesis。每个候选方案完整运行任务流 5 次。按平均得分排名前 4 的方案成为修订的父代。
对于每个父代,元智能体读取轨迹、得分和最终记忆目录,然后提出修订后的提示词。选择使用元智能体无法看到的留出集。
发现的提示词是具体的。一个 Database 提示词要求先读取 GUARDRAILS.md,再读取 SCHEMA.md,然后才作答。最佳的 Codebase 设计使用一个快速入门文件、一个索引化的修复注册表以及独立的修复文件。
harness 蒸馏如何将收益转移到权重中?
第 2 阶段遵循 Discover-Demonstrate-Distill 流水线。任务智能体使用优化后的提示词运行训练子任务。每次模型调用都被记录。研究团队随后在该历史记录中将优化提示词换回通用提示词。
这种替换之所以有效,是因为行为在通用指令下仍然成立。例子包括保留 QUICKSTART.md、REGISTRY.md 和 SCHEMA.md 文件,以及在聚合前验证 join key。模型使用 LoRA 微调,rank 64,作用于注意力投影层。损失仅覆盖助手 token,包括推理和工具调用。每个任务权重相等。
元智能体和任务智能体是同一个 Kimi-K2.6 模型。因此,模型是在它自己发现的记忆技能上接受训练的。
基准测试显示了什么?
测试使用 3 个 Continual Learning Bench 任务:Database(SQL)、Codebase(仓库修复)和 Spectrum(无线电扫描)。测试子任务遵循设计好的阶段转换。因此结果衡量的是对相同任务新实例的泛化能力。
| 测试得分 | Database | Codebase | Spectrum | 平均 |
|---|---|---|---|---|
| 无记忆 | 7.5 | 31.8 | 21.9 | 20.4 |
| 压缩 | 39.8 | 36.9 | 34.6 | 37.1 |
| 通用 harness | 32.3 | 33.5 | 42.5 | 36.1 |
| 最佳人工编写 | 47.9 | 43.7 | 42.1 | 44.6 |
| 优化 harness | 53.8 | 64.3 | 49.9 | 56.0 |
| 通用轨迹上的 SFT | 31.6 | 37.5 | 43.6 | 37.6 |
| 优化轨迹上的 SFT(通用提示词) | 37.7 | 45.1 | 46.5 | 43.1 |
来源:Self-Improving Memory 博客的图 4 和图 5。所有行均使用 Kimi-K2.6。
文章标题:Meta FAIR Self-Improving Memory 在持续学习基准上达到 56.0
正文: 优化后的 harness 在全部 3 个任务上都击败了最佳的人工编写种子。Codebase 提升最大,为 20.6 分。Search 波动较大:44 个生成的修订中有 37 个未能超越此前的最佳成绩。Database 和 Spectrum 在第一代就达到峰值。Codebase 一直提升到第 4 代。
蒸馏之后,每个模型都运行通用 harness。蒸馏模型在 10 个匹配种子上平均达到 43.1。在通用轨迹上做 SFT 达到 37.6。这是 5.5 分的提升,即 14.6%。
与 ALMA、MemEvolve 和 Harness-Zero 相比如何?
近期的若干方法会在 agent 记忆或 harness 上进行搜索。Self-Improving Memory 搜索记忆提示,然后将其蒸馏进权重。由于基准不同,头条数字不能直接比较。
| 特性 | Self-Improving Memory | ALMA | MemEvolve | Harness-Zero |
|---|---|---|---|---|
| 机构 | FAIR at Meta、UW、JHU | Xiong、Hu、Clune | OPPO AI Agent Team、LV-NUS | Peking University、Google、HKUST |
| 搜索对象 | LOAD/OFFLOAD 记忆提示 | 以 Python 代码表示的记忆设计 | 记忆架构与内容 | 完整的 agent harness |
| 是否训练权重 | 是,LoRA rank 64 | 否 | 否 | 是,LoRA SFT |
| 模型 | Kimi-K2.6(agent 与 meta agent) | GPT-5 meta agent,GPT-5-nano/mini 任务 agent | GPT-5-mini(外加 DeepSeek V3.2、Kimi K2) | Qwen3.5-9B 学生 |
| 基准 | Continual Learning Bench(3 个任务) | ALFWorld、TextWorld、Baba Is AI、MiniHack | GAIA、WebWalkerQA、xBench-DeepSearch、TaskCraft | SpreadsheetBench Verified、AppWorld、USPTO Retrosynthesis |
| 头条结果 | 56.0 对 44.6 最佳人工 harness;蒸馏后 43.1 | 53.9% 对 41.1% 无记忆(GPT-5-mini) | 最高提升 17.06% | 移除 harness 后从 23.3% 到 44.3% |
| 代码 | 未发布 | GitHub | GitHub | GitHub |
Harness-Zero 最为接近,但它使用一个单独的 agent 来纠正学生模型。Self-Improving Memory 跳过了这一步。
关键要点
- Kimi-K2.6 编写的记忆提示优于人工编写的提示:56.0 对 44.6。
- Codebase 提升最大:64.3,上升 20.6 分。
- 蒸馏保留了部分增益:43.1 对通用提示的 37.6。
- 44 个 meta-agent 修订中有 37 个失败,因此评估与选择很重要。
查看博客文章、X 帖子和 Continual Learning Bench 论文。你可以通过我们的 GPULeaderboard.com chrome 扩展在这里查看部署选项和规格。
另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 telegram 上吗?现在你也可以在 telegram 上加入我们。
需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

Michal Sutter 是一名数据科学专业人士,拥有帕多瓦大学数据科学硕士学位。凭借在统计分析、机器学习和数据工程方面的扎实基础,Michal 擅长将复杂数据集转化为可落地的洞察。
- Michal SutterPerplexity 推出用于故障转移和模型路由的 Orchestrator API
- Michal SutterSID AI 发布 SID-2 Agentic Search 模型,Swarm 模式达到 0.720 NDCG
- Michal SutterAnthropic 为 Claude Code 添加 Code Mode:Claude 现可在 JavaScript 中串联工具调用
- Michal SutterPerplexity Computer 新增 Multiagent:最多 16 个 AI agent 交叉核验工作