Newshot

只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

Summary

IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE-bench Lite 测试中,采用模块化优化方案的智能体任务成功率从 5.0% 提升至 40.0%,达到原来的 8 倍,平均每项任务消耗约 4.67 万 Token。 其研究重点是 AI 智能体的 Harness。它并非底层 AI 模型本身,而是围绕模型构建的运行框架,负责管理上下文和记忆、控制多轮任务执行、调用外部工具,以及在任务结束前验证执行结果。 研究人员指出,不同模型在工具使用方式和任务执行过程中表现出的弱点可能存在明显差异。因此,为某个模型优化的 Harness,迁移到其他模型后可能出现任务停滞、Token 消耗过高或执行效果下降等问题。 为解决这一问题,研究人员提出了一套能够自我改进的 Harness 架构。与传统上通过修改提示词来约束智能体不同,该方案允许优化模型直接修改 Harness 的代码,并通过测试决定是否保留修改。 实验采用一套仅有 142 行代码的初始编程智能体 Harness,将其拆分为四个可编辑模块,分别负责上下文与状态管理、智能体控制、工具调用接口,以及验证与故障恢复。 每轮优化过程中,系统只允许修改其中一个模块。优化模型首先根据智能体执行记录识别问题并提出代码修改方案,随后通过验证集检查修改效果,同时受到 Token 使用上限约束。只有通过验证的修改才会被保留,未达到要求的方案则会被舍弃。 在核心测试中,研究人员使用 Gemini 3.8 Flash 作为执行任务的基础模型,并在 40 道未参与优化的 SWE-bench Lite 软件工程任务上评估不同方案的表现。 结果显示,初始 Harness 的任务成功率为 5.0%,采用模块化修改和验证机制后,成功率提高至 40.0%,平均每项任务消耗约 4.67 万 Token。 作为对照,如果允许优化模型不受限制地整体重写 Harness,任务成功率可以达到 42.5%,略高于模块化方案,但平均每项任务需要消耗约 45.16 万 Token,是模块化方案的近 10 倍。…

Original text(via IT之家)

只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。

在一项 SWE-bench Lite 测试中,采用模块化优化方案的智能体任务成功率从 5.0% 提升至 40.0%,达到原来的 8 倍,平均每项任务消耗约 4.67 万 Token。

其研究重点是 AI 智能体的 Harness。它并非底层 AI 模型本身,而是围绕模型构建的运行框架,负责管理上下文和记忆、控制多轮任务执行、调用外部工具,以及在任务结束前验证执行结果。

研究人员指出,不同模型在工具使用方式和任务执行过程中表现出的弱点可能存在明显差异。因此,为某个模型优化的 Harness,迁移到其他模型后可能出现任务停滞、Token 消耗过高或执行效果下降等问题。

为解决这一问题,研究人员提出了一套能够自我改进的 Harness 架构。与传统上通过修改提示词来约束智能体不同,该方案允许优化模型直接修改 Harness 的代码,并通过测试决定是否保留修改。

实验采用一套仅有 142 行代码的初始编程智能体 Harness,将其拆分为四个可编辑模块,分别负责上下文与状态管理、智能体控制、工具调用接口,以及验证与故障恢复。

每轮优化过程中,系统只允许修改其中一个模块。优化模型首先根据智能体执行记录识别问题并提出代码修改方案,随后通过验证集检查修改效果,同时受到 Token 使用上限约束。只有通过验证的修改才会被保留,未达到要求的方案则会被舍弃。

在核心测试中,研究人员使用 Gemini 3.8 Flash 作为执行任务的基础模型,并在 40 道未参与优化的 SWE-bench Lite 软件工程任务上评估不同方案的表现。

结果显示,初始 Harness 的任务成功率为 5.0%,采用模块化修改和验证机制后,成功率提高至 40.0%,平均每项任务消耗约 4.67 万 Token。

作为对照,如果允许优化模型不受限制地整体重写 Harness,任务成功率可以达到 42.5%,略高于模块化方案,但平均每项任务需要消耗约 45.16 万 Token,是模块化方案的近 10 倍。

IT之家注意到,另一项实验则采用仅修改提示词规则文件的方式约束智能体,结果任务成功率反而从初始的 5.0% 降至 2.5%。

研究还考察了优化后的 Harness 迁移到其他模型时的表现。在不重新进行优化搜索的情况下,模块化方案迁移至 Gemini 4 Argon 后,任务成功率达到 37.5%,而整体重写方案为 30.0%。

研究人员认为,Harness 的自我改进不应仅依赖提示词,而应将重要约束落实到实际代码中。例如,通过自动测试检查任务执行结果、识别重复失败和阻止未经验证的任务结束,可以让智能体更可靠地完成复杂任务。

论文同时指出,允许智能体修改自身运行代码也会带来新的风险,包括提示词内容不断膨胀、针对基准测试进行过度优化,以及篡改评估程序等。因此,代码修改需要受到验证机制和权限边界约束。

需要注意的是,这项研究的实验主要围绕特定模型和 SWE-bench Lite 软件工程任务展开,核心测试集仅包含 40 道未参与优化的任务,尚不足以证明该方法在所有模型和智能体应用场景中都能取得相同效果。

相关文章

  • 尽管遭强烈反对:谷歌仍将在 2027 年 1 月全球推广 Android 开发者验证计划,覆盖 Google Play、三星、荣耀、OPPO、vivo、小米、传音
  • 苹果正自研 AI 智能体:可操控设备、浏览网页、编写代码,以期与 OpenAI、Anthropic 竞争
  • 谷歌 Gemini 现可直接操作苹果 Mac 电脑,可跨应用操作、制作 PPT、填写表单
  • 谷歌与蓝色起源合作,计划 2029 年发射 AI 服务器卫星
  • AI 智能体擅自转账、购物谁来负责?多家银行警告用户损失可能要自己承担
  • 补齐多年体验缺失,谷歌将为原生 Android 系统新增“应用锁”功能

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by IT之家
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗