Newshot

TokenEconomizer帮编程Agent节省18.4%至30.9% Token费

Summary

你再次打开熟悉的代码仓库,让 AI 编程 Agent 修一个 bug:它却重新摸索测试命令、载入一堆很少使用的工具,还沿着上次的失败路径继续试错,Token 账单随之增长。微软与 UC Berkeley 等团队开源的 TokenEconomizer 试图让 Agent 记住同一仓库里已经学过的经验;官方在 277 个真实修复任务中测得,平均成本降低 18.4%—30.9% ,任务成功率则整体保持稳定。 这像给一位每天进同一间维修车间的人配一本活页笔记:记下哪台机器要先断电、哪把工具其实用不上、哪种修法上次根本无效。它不是替人修机器,而是在下一次开工前少走那些已经有答案的弯路。 Agent 每天把 Token 花在哪些重复上? 程序员每天回到同一个仓库,AI 编程 Agent(能读写代码、调用工具完成开发任务的模型代理)却常从零开始。微软研究团队在 SWE-Bench (用真实开源项目缺陷测试编程 Agent 的基准) 上记录了 Claude Code 处理 60 个任务的工具调用与花费。 第一处浪费发生在仓库内部。同一仓库积累至少 5 个已完成任务后,30% 的工具调用重复了早期任务中的动作,例如再次摸索怎样运行测试。只有 7% 的调用与另一个仓库的历史动作相匹配,说明这些重复大多不是通用操作带来的,而是 Agent 没有记住眼前仓库已经学过的经验。 第二处浪费来自每轮都携带、却从不使用的工具说明。Claude Code 每轮收到 23 个工具描述(说明工具用途和调用方式的信息),其中 16 个从未被调用。开发者为一个仓库准备的工具越多,Agent 每次请求背负的说明就可能越重;未被调用的工具仍占用了上下文,让模型反复阅读用不上的选项。 第三处浪费藏在失败任务里。失败任务占全部任务的 17%,却贡献了 32% 的支出,比例接近任务占比的两倍。Agent 遇到同一个错误后反复换姿势尝试,消耗的 Token(模型处理文本时计量收费的基本单位)会不断累积;失败不只拖慢任务,还让账单更重。 一次旧会话,怎么帮下一次少走弯路? TokenEconomizer 会读取已结束的会话日志,把多次尝试中确认的仓库经验带到后续任务。编程 Agent 不必每次都从零开始。 一次旧会话进入下一次会话 读取会话日志 → 识别仓库特有模式 → 更新起始经验与工具清单 → 介入重复失败 仓库经验…

Original text(via 听说了吗)

TokenEconomizer帮编程Agent节省18.4%至30.9% Token费

微软开源插件 TokenEconomizer 会从已完成的编程会话中提取仓库经验,用微型经验、工具裁剪和失败干预减少重复劳动。测试显示,它在六个仓库的 277 个修复任务中,将成本降低 18.4%—30.9%,且任务成功率整体保持稳定。

封面图来自Microsoft Research 博客(官网直连)
封面图来自Microsoft Research 博客(官网直连)
  • 重复仓库发现、无用工具和失败循环是主要浪费来源
  • 会话日志会被提炼为仓库知识、工具选择与失败干预
  • 277个真实修复任务中平均成本降低18.4%—30.9%
  • 每个仓库到第6个任务时累计成本低于默认方案

这是微软研究团队发布自家开源插件的官方研究博客,含实验设置、成本结果与开源定位;结论属于项目方自报,尚非独立第三方复测。

你再次打开熟悉的代码仓库,让 AI 编程 Agent 修一个 bug:它却重新摸索测试命令、载入一堆很少使用的工具,还沿着上次的失败路径继续试错,Token 账单随之增长。微软与 UC Berkeley 等团队开源的 TokenEconomizer 试图让 Agent 记住同一仓库里已经学过的经验;官方在 277 个真实修复任务中测得,平均成本降低 18.4%—30.9%,任务成功率则整体保持稳定。

Agent 每天把 Token 花在哪些重复上?

程序员每天回到同一个仓库,AI 编程 Agent(能读写代码、调用工具完成开发任务的模型代理)却常从零开始。微软研究团队在 SWE-Bench(用真实开源项目缺陷测试编程 Agent 的基准)上记录了 Claude Code 处理 60 个任务的工具调用与花费。

第一处浪费发生在仓库内部。同一仓库积累至少 5 个已完成任务后,30% 的工具调用重复了早期任务中的动作,例如再次摸索怎样运行测试。只有 7% 的调用与另一个仓库的历史动作相匹配,说明这些重复大多不是通用操作带来的,而是 Agent 没有记住眼前仓库已经学过的经验。

第二处浪费来自每轮都携带、却从不使用的工具说明。Claude Code 每轮收到 23 个工具描述(说明工具用途和调用方式的信息),其中 16 个从未被调用。开发者为一个仓库准备的工具越多,Agent 每次请求背负的说明就可能越重;未被调用的工具仍占用了上下文,让模型反复阅读用不上的选项。

第三处浪费藏在失败任务里。失败任务占全部任务的 17%,却贡献了 32% 的支出,比例接近任务占比的两倍。Agent 遇到同一个错误后反复换姿势尝试,消耗的 Token(模型处理文本时计量收费的基本单位)会不断累积;失败不只拖慢任务,还让账单更重。

一次旧会话,怎么帮下一次少走弯路?

TokenEconomizer 会读取已结束的会话日志,把多次尝试中确认的仓库经验带到后续任务。编程 Agent 不必每次都从零开始。

仓库经验由微型经验(一行笔记,保存仓库特有知识)承载。插件先从不同会话中寻找反复出现的模式,单次任务的偶然发现不算数。至少多个会话确认,笔记才写入后续会话的起始上下文。

写进去的也可能被拿掉。后续会话若出现与笔记相矛盾的证据,插件就撤销这条经验,让它退出起始上下文。

工具裁剪(按仓库历史删去不常用的工具)负责减少 Agent 每次都要接收、却可能不用的工具说明。插件依据当前仓库的历史记录移除不太可能使用的工具,运行命令和编辑文件这两类核心工具则保留。如果后续任务确实需要,被移除的工具仍可恢复。

Agent 反复撞上同一个错误怎么办?插件会启用失败循环干预(识别重复失败并提醒改换方法)。裁判模型先判断 Agent 是真的卡住,还是虽然连续失败却仍在推进。确认已经卡住,Agent 才会收到一条简短提示,建议换一种方法。

Microsoft Research 博客(RSS) 官方配图 1
Microsoft Research 博客(RSS) 官方配图 1

不换模型,能省下多少?

不换编程 Agent,也不降低模型的推理强度,TokenEconomizer 在 277 个真实修复任务中把平均成本压低了 18.4%—30.9%。省下的是测试中实际消耗的 Token 费用。

这组结果来自微软研究院发布的评估。测试使用 SWE-Bench(真实软件缺陷修复基准),覆盖 6 个代码仓库、277 个修复任务,并测试 5 种不同的编程 Agent 与模型组合。6 个仓库与 5 种组合交叉形成 30 个仓库组合,TokenEconomizer 在全部 30 个组合中都是节省最多的方案。

微软研究院同时说明,统计包含插件自身调用模型的成本。这组数字来自项目方评估,尚未见第三方复测。

方案277 个真实修复任务中的表现
TokenEconomizer30 个仓库组合全部节省最多,平均成本降低 18.4%—30.9%
降低模型推理强度可节省相当或更多费用,但任务表现明显下降
默认方案不增加仓库经验学习,也不改变模型推理强度

降低推理强度确实能省钱,甚至省得更多,代价是任务表现明显下降;TokenEconomizer 的省钱不靠削弱模型,靠的是把同一仓库里已经验证过的经验用到后续任务上——前提是这些经验确实在后续任务里成立。

成本下降没有换来任务表现退步。5 种 Agent—模型组合中,有 4 种的 Pass@1(一次尝试即解决任务的比例)上升。“表现”按任务成功率衡量,不能直接等同于所有代码质量或长期维护效果。

Microsoft Research 博客(RSS) 官方配图 2
Microsoft Research 博客(RSS) 官方配图 2

省的钱,要到第几个任务才出现?

TokenEconomizer 不会从第一个任务就立刻省钱。它先支付学习成本,但到第 6 个任务时,全部测试仓库的累计成本都已低于默认方案。

每个仓库开始测试时,TokenEconomizer 都没有历史会话可供学习。第一项任务需要自行探索仓库、记录经验,并判断哪些信息值得留给后续任务复用。这个阶段可能比默认方案多花成本,因为插件正在建立仓库知识,记录还不足以支撑成本控制。

任务连续推进后,先前会话里确认过的仓库规律、工具使用情况和失败路径会用于下一次任务,单个早期任务的成本可能仍然偏高,同一仓库的任务累计起来,差异会随可用经验增加而改变。

到第 6 个任务时,全部测试仓库的累计成本都低于默认方案,学习投入已经被后续任务的节省覆盖。判断它是否值得接入,不能只看第一次任务,同一仓库连续使用后的累计账单更值得关注:第 6 个任务是本次测试中跨过默认成本的节点,但不代表每个仓库都会在更早时回本。

换个场景也能省,关键是历史会话能不能接上

两项测试都降了:连续网页开发降 16.0%—21.2%,安全审计降 6.4%—19.6%。差距指向同一个前提——任务能不能在同一个仓库里积累历史会话。

网页开发任务更接近日常使用。测试采用 Web-Bench(用于评测网页开发任务的基准),任务连续进行,成本降低 16.0%—21.2%。方法不依赖某一种代码仓库或某一种 Agent:只要后续会话仍在同一仓库,插件就能复用已经形成的仓库经验,少走重复的探索。

安全审计的降幅是 6.4%—19.6%。差别出在任务安排上——每个任务都换一个新仓库。没有同一仓库内积累的历史会话,TokenEconomizer 就没有可跨任务复用的对象,降幅自然低于连续网页开发。

回到开场那个画面:反复处理同一代码仓库、每次都像从零开始的编程 Agent。它省下的不是换一个更便宜或更弱的模型,而是同一仓库里已经付过成本的探索。对于不把 Agent 会话日志留在本地的团队,这种以历史换节省的方案,代码与日志的隐私边界该怎么划?

信源:Microsoft Research 博客《TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient》;口径为项目方在 6 个仓库、277 个 SWE-Bench 修复任务及 5 种 Agent 与模型组合上的自报结果,已计入插件自身模型调用成本,尚非独立第三方复测。

术语小典 · 本篇出现的人话注解

深度、研究解读、工具教程的全文和全部播客,都在会员区。

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by 听说了吗
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗