Newshot

TokenEconomizer:从经验中学习,让 AI 编程代理更高效

AI summary

TokenEconomizer 是一个开源插件,能从代理在代码库中的历史会话中学习,在不修改代理或其底层模型的前提下减少未来会话中的浪费。在 277 个真实 bug 修复任务中,它让多个 AI 编程代理的成本降低了 18.4%–30.9%,所有测试代码库的成本均下降,任务成功率基本保持稳定。

Translation(model translation, not the source's own text)
六个编码会话的成本柱不断缩短,它们的日志被发送到 TokenEconomizer,后者利用微技能、工具剪枝和失败循环干预,引导一个未经修改的编码智能体完成下一个会话。
六个编码会话的成本柱不断缩短,它们的日志被发送到 TokenEconomizer,后者利用微技能、工具剪枝和失败循环干预,引导一个未经修改的编码智能体完成下一个会话。

概览

  • 开发者日复一日地在相同的代码库中使用 AI 编码智能体,但智能体往往每次会话都从零开始:重新发现熟悉的事实、加载未使用的工具、重复不成功的方法。
  • TokenEconomizer 是一个开源插件,它从智能体在某个仓库中过去会话的经验中学习,以减少未来会话中的浪费,而无需修改智能体或其底层模型。
  • 在 277 个真实的 bug 修复任务中,TokenEconomizer 在多个 AI 编码智能体上将成本降低了 18.4–30.9%。所有测试仓库的成本均有所下降,而任务成功率总体保持稳定。

AI 编码智能体正越来越多地帮助开发者主要依靠自身修复 bug 和构建功能,但每一次与模型的交互都会消耗 token。在每个会话中,智能体都会向模型发送指令、工具描述和会话历史。大多数降低这一成本的努力都聚焦于单个任务。然而开发者会反复回到相同的仓库,这给了智能体从以往工作中学习的机会。缺少这种学习,智能体可能会反复重新发现如何运行测试、加载从未用过的工具,或花费数十个回合反复处理同一个错误。

在我们的论文《TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents》中,我们提出了一个简单的问题:在某个仓库中的经验能否帮助智能体更高效地解决未来任务?TokenEconomizer 是来自 UC Berkeley、Microsoft Research 和 Microsoft Security 的开源插件,它将已完成的会话转化为对后续会话的指导。它无需修改智能体或其底层模型即可减少浪费,因此开发者可以将其与已经依赖的编码智能体配合使用。

每个完成的会话都会让 TokenEconomizer 对该仓库有更多了解,从而使后续会话消耗更少的 token。
每个完成的会话都会让 TokenEconomizer 对该仓库有更多了解,从而使后续会话消耗更少的 token。

token 都去了哪里

我们首先在 SWE-Bench 的 60 个任务上对 Claude Code 进行了分析,SWE-Bench 是一个包含开源 Python 项目中真实 bug 修复的基准测试,我们按顺序运行每个仓库的任务。有三类浪费反复出现:

  • 重新发现相同的事实。当一个仓库累计完成至少五个任务后,30% 的工具调用重复了该仓库中较早任务的动作。只有 7% 与另一个仓库历史中的动作相匹配。
  • 为未使用的工具付费。智能体每一轮都会收到 23 个工具描述,但有 16 个从未被调用。
  • 卡在失败上。17% 的失败任务占了 32% 的开销。

我们还测试了三个流行的开源插件,每个都围绕一种固定的成本节约策略构建。每个插件都在某些仓库中降低了成本,但在其他仓库中则没有。综合来看,这些发现表明,有效的成本控制必须适应具体仓库,而不是在所有地方套用相同的策略。

聚焦:系列活动

研究论坛 | 带有彩色六边形的抽象背景
研究论坛 | 带有彩色六边形的抽象背景

Microsoft Research Forum

加入我们,围绕通用 AI 时代的研究展开持续的思想交流。按需观看最新一期的节目。

TokenEconomizer 如何工作

在每个会话结束后,TokenEconomizer 会读取该会话的日志,并更新其对该仓库的了解。随后它通过三种机制发挥作用,仅使用智能体已经提供的接口,如图 2 所示。

文章标题:TokenEconomizer:从经验中学习,让 AI 编程代理更高效

正文: 微技能将仓库特定的知识记录在一行笔记中。TokenEconomizer 识别跨会话反复出现的模式,并提出相应的笔记。只有在多个会话确认该模式后,笔记才会被加入代理的起始上下文;如果后续证据与之矛盾,该笔记会被停用。

工具修剪会移除仓库历史表明代理不太可能使用的工具,同时始终保留用于运行命令和编辑文件的核心工具。被移除的工具可以在需要时恢复。

失败循环干预会监视反复陷入同一失败的代理。一个评判模型判断代理是真的卡住了,还是仍在取得进展。如果确实卡住,代理会收到一条简短提示,建议换一种方法。在开源插件中,如果代理在收到提示后仍然卡住,TokenEconomizer 会提醒开发者,而不是自行停止工作。

TokenEconomizer 与未经改动的编程代理协同工作。微技能添加学到的事实,工具修剪精简加载的工具,失败循环干预为卡住的工作重新指明方向。每个完成的会话都会更新这三者。
TokenEconomizer 与未经改动的编程代理协同工作。微技能添加学到的事实,工具修剪精简加载的工具,失败循环干预为卡住的工作重新指明方向。每个完成的会话都会更新这三者。

该控制器被设计为随着新证据的到来而修正自身决策。所报告的节省也计入了 TokenEconomizer 自身模型调用的成本。

在每个仓库中节省成本

我们在来自六个仓库的 277 个 SWE-Bench 任务上评估了 TokenEconomizer,使用了五种不同的 AI 编程代理与模型组合。对于每个仓库,TokenEconomizer 都从未有任何会话历史开始。

如图 3 所示,TokenEconomizer 将平均成本降低了 18.4–30.9%,并在全部 30 个仓库-组合配对中节省最多,且没有性能损失。相比之下,降低模型的推理强度虽然节省了相近或更多的成本,却导致了显著的性能下降。

在 SWE-Bench 上,TokenEconomizer 在五种代理-模型组合中将每个任务的平均成本降低了 18.4–30.9%(左),同时其中四种组合的 Pass@1 有所上升(右)。
在 SWE-Bench 上,TokenEconomizer 在五种代理-模型组合中将每个任务的平均成本降低了 18.4–30.9%(左),同时其中四种组合的 Pass@1 有所上升(右)。

随着经验积累,节省会逐步增加。在 TokenEconomizer 学习期间,早期任务可能成本更高,但如图 4 所示,到第六个任务时,每个仓库的累计成本都降到了默认水平以下。每种机制各自都能带来节省,三者结合则带来最大的降幅。

使用 Claude Code 时,各仓库任务相对于默认的累计成本变化。从无历史开始,每个仓库到第六个任务时都变得更便宜。
使用 Claude Code 时,各仓库任务相对于默认的累计成本变化。从无历史开始,每个仓库到第六个任务时都变得更便宜。

这种节省也延续到了顺序式 Web 开发中,在 Web-Bench 上成本降低了 16.0–21.2%。在安全审计中,每个任务都位于新仓库,成本降低了 6.4–19.6%。

展望

TokenEconomizer 为编程代理开辟了一条路径:不仅学习如何解决任务,还学习如何更有效地使用计算资源。其轻量级控制器展示了经验如何在不改变底层代理或模型的情况下提升效率。

该开源插件让开发者和研究人员能够接触这些方向。它被设计为与现有 AI 编程代理并行运行,无需修改其底层模型,不需要自己的 API key,并将所学内容保留在开发者本地机器上。我们邀请社区将其作为起点,探索随经验变得更加足智多谋的代理——既调整它们的工作方式,也调整它们所知的内容。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Microsoft Research
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗