推出 harness adapters:将你喜欢的模型适配到你的 harness,以提升性能与成本效益
将自定义任务分布上的 RL 与你最喜欢的智能体 harness 结合,可为该目标 harness 和任务分布带来更准确、更高效的模型。
模型并未针对所有 harness 和你正在执行的任务进行充分优化。相反,它们瞄准的是通用性能。因此,当你把模型和 harness 组合起来时,对于你实际在做的事情,性能和效率都有提升空间。借助 RL,你可以训练一个自定义 harness adapter,为你的 harness 与任务组合充分挖掘模型潜力。
以 Qwen3.8-27B 为例,它在 pi harness 下的 Terminal-Bench 2.1 得分为 39%,平均每个任务使用 2.9K tokens。如果我们冻结这些权重,并加入一个经 RL 训练的自定义 LoRA adapter,就可以达到 55% pass@1,平均 token 使用量为 1.5K。这主要归因于模型推理更少、调用工具更少,并且首次执行表现更好。
我们早先的工作(multi-harness RL、harness adapters)表明,在你自己的任务分布上、在你自己的 harness 内部进行 RL,会得到更准确、更高效的模型。那些实验涵盖了数据分析和代码构建任务。在这里,我们希望进一步推进:探索这一结果在 27B 规模、更困难的真实软件工程任务上、跨三个 harness——Pi、OpenCode 和 Hermes Agent——是否依然成立。最重要的是,分享一套完全可复用的配方,让你可以在自己的任务、harness、模型组合上复现。
TL;DR
- 我们为每个 agent harness(pi、Hermes Agent、OpenCode)分别训练了一个用于 Qwen3.8-27B 的 LoRA adapter,RL 在 harness 自身内部进行。
- 数据集、训练和 agent rollouts 全部在 Hub 上的 Jobs 中完成,使用 TRL 的 AsyncGRPOTrainer、OpenEnv 和 harbor。
- 每个 harness adapter 在各自 harness 下,在两个基准上都优于基座模型,性能和效率均是如此。
- 这三个 LoRA 还合并成了一个 super adapter,在 pi、Hermes Agent 和 OpenCode 下无需改动即可运行。
- 所有产物(adapters、GGUFs、RL 任务、safeagents 插件)都可以通过这个 Hugging Face collection 浏览。
目录
- 在 agent harness 内部训练
- 在 Hugging Face 上生成自定义 RL 任务
- 用短训练运行测试过滤器
- AsyncGRPOTrainer:更高效的 GRPO 训练
- 训练设置
- Super-adapter:将所有 adapter 合并为一个
- 最终结果
- 开放问题:模型究竟学会了做什么?
- 结语与未来方向
在 agent harness 内部训练
我们利用 OpenEnv 中的 Harbor 集成以及 TRL 的 OpenEnv 指南,在我们为最终训练选定的 harness 内部训练模型。我们为所有 RL 任务构建了即用型 docker 镜像,其中已预装目标 harness。在最终的 docker 镜像中,我们使用 Pi 1.5.2、OpenCode 2.2.7 和 Hermes Agent v0.22.6。下面来自前述博文的示意图很好地说明了整个协议:
大多数 RL 框架训练的是 agent loop 的重新实现:agent 是针对框架自己的接口编写的,例如 verl 的 AgentLoop、SkyRL-Gym 环境、rLLM 的 agent 和环境类、slime 的自定义 rollout 函数,或你自己 Python agent 中的 ART 客户端。而在这里,harness 完全按发布时的样子运行,训练器从它产生的确切 tokens 中学习,这些 tokens 由 harness 与 vLLM 之间的代理记录。近期工作也朝同一方向推进:Agent Lightning v1.0 通过代理让部署时的 harness 保持在环路中(“harnessed agentic RL”),SkyRL 的 Harbor 集成则在 Harbor trials 上训练,将其聊天历史转换为供训练器使用的 tokens。
在 Hugging Face 上生成自定义 RL 任务
为了这个配方,我们借助 Hub、OpenEnv 和 Repo2RLEnv 构建了一个用于 agentic coding 的自定义数据集。我们把现有 RL 环境的任务检索、用 Repo2RLEnv 生成任务、用 OpenEnv 做任务校验,以及采样,整合进同一条数据流水线。由此得到了一套质量最高、经过校验且相关的任务,用于提升 Qwen3.8-27B 在 agentic coding 上的表现。本节将带你走过我们的构建过程,方便你在自己的领域里照做。
RL 训练需要智能体可以去尝试的任务、给每次尝试打分的验证器,以及证明验证器判断正确的证据。一个会接受错误答案的验证器,教出来的是错误行为。一个本来就很容易完成的任务,教不会模型任何东西。
本节介绍我们如何从三个来源构建任务集:两个来自 Hugging Face Hub,第三个用 Tasksmith 生成——它是 Repo2RLEnv 中的一条流水线。每个任务都要通过 openenv validate 的资格筛选,以及与基座模型 Qwen3.8-27B 的同一项难度检查。

三个来源
每个任务都采用 Harbor 格式,Terminal-Bench 2.1 也使用这一格式。在 Hub 上对 Harbor 环境做了一次大范围搜索,返回约 59,000 个任务,但其中包含重复项、评测集,以及被标记为不可用于训练的任务。我们筛选后只保留两个为训练而构建的 Hub 来源,并自行生成了第三个集合:
- SWE-smith(Python、Go)向真实的 Python 和 Go 仓库中注入 bug,方式可以是 LLM 改写,也可以是翻转运算符这类变异。能捕获每个 bug 的测试就成为该任务的测试。它增加的是数量。
- SWE-Gym 在 TaskTrove 中被打包成 Harbor 任务,把真实的 GitHub issue 及其已合并的修复转化为任务。它增加的是真实世界的 bug。
- Tasksmith 从已合并的 pull request 生成任务。由 LLM 智能体撰写指令和测试,Tasksmith 再校验结果:参考答案和一个有效的替代方案必须通过,而未修复的代码和一个已知错误的解法必须失败。
我们用 Tasksmith 来瞄准缺口。我们先梳理目标基准(Terminal-Bench 2.1、SWE-bench Pro 的困难子集和 DeepSWE)所考察的技能,然后挑选能锻炼这些技能的 pull request,例如 HTTP 流式传输、文件系统操作和序列化。从 30 个已合并的 pull request 中,Tasksmith 在 10 个 Python 仓库里产出了 24 个通过其校验的任务,其中 17 个是在第二次运行中通过的。它的校验并不能取代我们自己的校验,因此这些任务与其他任务走同一条流水线。
用 openenv validate 做校验
首先运行的是元数据筛选。它只保留来自训练集且许可证宽松的任务。它会剔除重复项、被标记为不可用于训练的任务、我们目标基准中的 253 个任务,以及来自这些基准所用仓库的任何任务。随后,我们在全新的试验中对每个任务运行 openenv validate 的语义检查:
- 参考答案获得最高奖励(
semantic.oracle_max)。
- 什么都不做的得分明显更低(
semantic.floor_gap)。
- 没有 canary 的得分高于什么都不做(
semantic.canary_floor)。
- 重放参考答案得到相同的奖励(
runtime.episode_determinism)。
每次试验都作为独立的 Hugging Face Job 运行,这让我们可以同时校验数十个任务。openenv validate 对任何 Harbor 任务都提供同样的选项:
openenv validate path/to/task --sandbox hf-sandbox
1,127 个 Hub 候选任务中有 858 个通过。错误答案对照发现了缺陷,包括一个会接受不完整实现的 Tasksmith 任务,以及一个会接受已知错误答案的 Terminal-Bench 2.1 验证器(regex-log)。大多数失败属于基础设施问题,例如镜像无法启动。失败的任务会留在被拒绝的划分中,并记录失败的那项检查。
推出 harness adapters:将你喜欢的模型适配到你的 harness,以提升性能和成本表现
使用基础模型进行难度检查
一个有效任务仍可能无法教会任何东西。GRPO(组相对策略优化)会将每次尝试与同一任务的其他尝试进行评分比较,因此,如果一个任务的每次尝试都通过,或每次尝试都失败,就不会提供学习信号。训练前,Qwen3.8-27B 对每个任务尝试 4 次;对于每个仓库抽取六个任务组成的分层样本,则尝试 8 次。
在 442 个已评分任务中,Qwen3.8-27B 有 151 个每次都解决,120 个从未解决。它仅有时解决的 171 个任务构成合格集。下图展示了分数如何在两端堆积,以及它们如何因来源而异。该模型每次都解决大多数 Go 任务,在超过三分之一的 SWE-smith Python 任务上每次尝试都失败,而在 73% 的 SWE-Gym 任务上处于中间水平。

Qwen3.8-27B 在 442 个已评分任务上的结果。绿色标记合格任务,即模型在部分尝试中解决、但并非所有尝试都解决的任务。
这个示例展示了我们如何将 1,127 个任务过滤并验证为 278 个,并直接纳入最终数据集。随后,该 pipeline 取剩余的 522 个被拒绝任务,用 Tasksmith 修复并增加其复杂度,并重复验证。
通过短训练运行测试过滤器
该 pipeline 应用两个过滤器:验证会移除损坏的任务,难度检查会保留基础模型仅有时解决的任务。本节测试这些过滤器是否会改变模型学到的内容。我们进行了四次最多 50 步的短训练运行,每次使用来自 pipeline 不同阶段的任务,并将它们与基础模型在 Terminal-Bench 2.1 上进行比较。
每次运行都在 32 个任务上使用 LoRA 和 GRPO
最终奖励函数由验证器的正确性,加上一个小的工具效率奖励(0.1,源自 harness adapters 上一轮迭代的早期实验,实验表明 0.1 效果最好)组成。
我们使用 Termgrade 环境在 50 步上做了一次小型学习率扫描(1e-5、5e-5 和 1e-4),并注意到 1e-5 几乎没怎么改变训练正确率(从 0.52 到 0.50),1e-4 让 rollout 崩溃了而非改善(每个 rollout 的轮数从 18 变成 6,同时熵上升),只有 5e-5 有明显改善(到第 40 步时从 0.49 升至 0.60)。之后更长的 5e-5 运行显示出不稳定的迹象(rollout 长度崩溃、熵上升),因此我们在最终运行中选定了 2e-5。
训练基础设施
每个 harness adapter 都使用 NVIDIA 2xB200 GPU 训练,其中一块 GPU 分配给 vLLM 服务器,另一块分配给训练进程。我们首先做了一些压力测试,以最大化单个优化步内可训练的 RL 任务数量。为此,我们将 AsyncGRPOTrainer 的 --token-budget 参数针对我们现有的配置“拉到”其上限。下图展示了每个 harness 每步组数的演变(蓝色:Pi,绿色:OpenCode,橙色:Hermes)。
随着模型在训练中越来越好,它能够在每个训练步内容纳越来越多的组,这使模型在每个优化步获得的信号更加多样化。
最终混合
最终数据混合由 750 个来自 harness-adapters RL 环境的任务和 300 个来自 termgrade 的任务组成。为了最大化训练期间采样任务的多样性,我们对数据采样策略做了轻微定制,具体如下:
训练之前,任务被放入一个固定顺序,按家族交错排列(即我们生成的 RL 环境的仓库。对于 Termgrade,我们只是按名称排序,因为每个任务都被视为自己的家族),这样每个训练步在遵循混合分布的同时,尽可能混合更多的仓库。
引入 safeagents
我们还接入了 safeagents 工具,以阻止模型在训练期间的任何不当行为。最终插件(由针对 RL 任务和测试路径的正则与模式规则组成)托管在 harness-hub/qwen-safeagents-plugin,任何人都可以使用最新版本的 safeagents 开箱即用,以复现训练配置。
训练期间,被 safeagents 阻止的工具数量持续下降,这表明模型在每次优化步后都变得“越来越安全”。下图展示了每个 harness adapter 按训练步统计的、每 1000 次工具调用中被 safeagents 阻止的调用数。

超级 adapter:将所有 adapter 合并为一个
合并模型通常会将它们的能力结合起来,同时保留每个模型原本能做的绝大部分事情。三个 harness adapter 训练完成后,我们提出了两个问题。合并它们会损失准确率吗?单个“超级 adapter”能否在每种 harness 下都既准确又高效?
我们首先逐层比较了三个 adapter 的权重更新。任意两者之间的余弦相似度约为 0.01–0.02:每个 adapter 在训练期间都将模型推向几乎正交的方向。这是合并的最佳情况,因为这些更新几乎不会相互干扰。
推出 harness 适配器:将你喜欢的模型适配到你的 harness,以提升性能并降低成本
我们沿秩维度拼接三个 LoRA 适配器(PEFT 的 combination_type="cat")。合并后的适配器秩为 96(3 × 32),并精确应用 w · (ΔW_pi + ΔW_hermes + ΔW_opencode)。此前关于合并的工作(task arithmetic、TIES、KnOTS)发现,将每个更新缩放到 1 以下效果最好,因此我们在每个 harness 下,使用 step-120 适配器,在所有 89 个 Terminal-Bench 2.1 任务上比较了三个权重:
- ⅓(平均值):每个 harness 只保留自身更新的三分之一。
- ½:每个更新以一半强度应用。
- 1(直接求和):每个更新都完整应用。
| 权重 | pi | hermes | opencode | 全部三个 harness | 每个任务的工具调用次数 |
|---|---|---|---|---|---|
| 基础模型 | 39.1% | 46.0% | 44.8% | 43.3% | 49.2 |
| ⅓(平均值) | 49.4% | 51.2% | 47.1% | 49.2% | 35.6 |
| ½ | 48.8% | 53.5% | 55.2% | 52.5% | 25.9 |
| 1(求和) | 40.2% | 62.8% | 47.1% | 50.0% | 13.4 |
直接求和会过度应用更新。智能体会变得非常短(每个任务 13 次工具调用,而基础模型为 49 次),并且虽然 Hermes 达到 62.8% 的峰值,pi 却回落到基础模型的水平。平均值会稀释每个 harness 自身的更新。½ 提供了最佳平衡,因此我们用已发布的检查点(pi step 160、hermes step 160、opencode step 150)以权重 ½ 构建了最终的 super-adapter。
适配器合并评估结果
在每个 harness 下,在每次运行都评分的任务上(SWE-bench Pro 上为 50–51 个,Terminal-Bench 2.1 上为 82–85 个),每个任务尝试一次(括号内为相对于基础模型的效率提升):
| harness | 基准 | Qwen3.8-27B | Qwen3.8-27B-<harness>-adapted | Qwen3.8-27B-super-adapter | Qwen3.8-27B , thinking | Qwen3.8-27B-super-adapter , thinking |
|---|---|---|---|---|---|---|
| pi | SWE-bench Pro (hard 51) | 40.0% | 64.0% (−60%) | 46.0% (−73%) | 74.0% | 74.0% (−48%) |
| hermes | SWE-bench Pro (hard 51) | 29.4% | 43.1% (−56%) | 47.1% (−60%) | 45.1% | 60.8% (−36%) |
| opencode | SWE-bench Pro (hard 51) | 35.3% | 51.0% (−72%) | 45.1% (−63%) | 47.1% | 66.7% (−31%) |
| pi | Terminal-Bench 2.1 | 40.0% | 56.5% (−56%) | 48.2% (−56%) | 52.9% | 57.6% (−25%) |
| hermes | Terminal-Bench 2.1 | 44.7% | 58.8% (−70%) | 55.3% (−53%) | 58.8% | 63.5% (−19%) |
| opencode | Terminal-B
文章标题:Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost
正文: ½ 的权重是在 Terminal-Bench 2.1 上使用 step-120 adapters 选定的,因此 Terminal-Bench 的数据略微偏乐观;SWE-bench Pro 没有参与这一选择。完整的配对结果见 super-adapter 的 model card。
最终结果
本节先报告训练期间发生了什么,然后说明各 adapters 在各自 harness 内部与外部留出基准上的得分。
训练结果
训练累计运行了 598 步,共训练 78,114 个样本,恰好由 167M 个训练 token 组成。
在训练过程中,我们看到一个清晰的信号:模型学会用越来越少的步数解决任务,且没有明显的饱和迹象。尽管有时存在明显的上升趋势,训练正确率总体上似乎保持平稳。这可以解释为:模型在训练中会遇到新任务,但随着轨迹变短,一步的 token 预算内能容纳的组数增加了一倍多。准确率的提升体现在下一节的留出基准上。
另一方面,safeagents 成功拦截了多次可疑尝试。在三次训练运行中,共检查了 1.3M 次工具调用,并拦截了 647 次工具调用。
评估结果
本节涵盖评估设置、harness 内结果、跨 harness 迁移,以及一项分布外检查。
评估设置
我们在每个 adapter 训练时所用的 harness 内部对其进行评估,使用两个 agentic coding 基准:Terminal-Bench 2.1 的全部 89 个任务(每个任务 1 小时和 100 个 agent 步),以及 SWE-bench Pro 中最难的 51 个任务(2 小时和 100 个 agent 步)。我们将每个任务的 token 上限设为 131072。我们不调整 agent 设置,所有 harness 均使用默认配置。例如,Pi 不保留之前的推理轮次,而 OpenCode 和 Hermes 会保留,这主要因上下文快速溢出而影响 SWE-bench Pro 的结果。因此,不能跨不同 harness 比较结果(使用 Pi 并不一定比 Hermes 或 OpenCode 带来更好的结果),但在同一 harness 内比较结果并得出结论是合理的。
每次 rollout 都通过与训练相同的 Harbor 和 OpenEnv 栈运行,位于 HF sandboxes 中,每个任务尝试一次,temperature 为 0.8,thinking 关闭。每个 LoRA checkpoint 都合并进基础权重,并在单张 GPU 上用 vLLM 单独提供服务,并发数与基础模型评估时相同。
对于所有评估基准,我们报告 pass@1,以及所有任务和已解决任务的工具调用次数、总轮次。
为保持开放,最终评估的所有模型轨迹都推送到这个公共 bucket:harness-hub/harness-adapters-trajectories。
最终评估结果
三个专家 adapter 在各自 harness 下、在两个基准上都优于基础模型。在 SWE-bench Pro(hard 51)上,pi 从 39.2% 提升到 64.7%(+25.5 个百分点:新解决 15 个任务,丢失 2 个,p = 0.002),hermes 从 29.4% 提升到 43.1%,opencode 从 35.3% 提升到 51.0%。在完整的 Terminal-Bench 2.1 上,pi 提升 +16.3 个百分点(16 对 2,p = 0.001),hermes 提升 +14.1(19 对 7,p = 0.03)。Opencode 总体提升 +6.0,在未参与其 checkpoint 选择的 66 个任务上提升 +13.6(12 对 3,p = 0.035)。
这些 adapters 解决任务的效率也高得多:在它们和基础模型都能解决的任务上,SWE-bench Pro 上每个任务的工具调用次数减少了 56–72%,Terminal-Bench 2.1 上减少了 53–70%。单个 super-adapter 在全部三个 harness 下也优于基础模型(SWE-bench Pro 上 +6 到 +18 个百分点,Terminal-Bench 2.1 上 +5 到 +10),工具调用次数的削减幅度同样大(53–73%)。在 thinking 关闭时,它保留的各专家增益较少,在 pi 下最少;但在 thinking 开启时,它在六个 harness–benchmark 组合中的五个上优于相同 effort 下开启 thinking 的基础模型(见 super-adapter 一节)。每个 model card 都有完整的配对结果。
效率与性能能力是否能跨 harness 迁移?
为了回答这个问题,我们还在 Hermes Agent 和 OpenCode 下评估了 pi harness adapter。
在 OpenCode 下,它在 Terminal-Bench 2.1 上达到了与 OpenCode 自家 specialist 相当的水平(44.8% → 54.0%,对比 46.4% → 52.4%)。在 Hermes 下,它保留了 specialist 约三分之二的提升(46.3% → 56.1%,对比 44.7% → 58.8%),两者工具调用次数同样减少约 45%。因此,新学到的能力似乎可以跨 harness 迁移。
在分布外任务与设置上的评估
如果在分布外任务上评估、脱离适配器训练时所用的 harness,会发生什么?
我们在 300 个 AutomationBench 任务上运行了全部五个模型,这些任务由业务自动化工作流评估组成,使用 AutomationBench 自带的 agent loop,而不是 Pi、Hermes 或 OpenCode。这样,我们可以交叉验证两个不同的问题:模型能否解决 SWE 相关任务之外的问题?当模型被置于其训练所用 harness 之外时会发生什么?
结果显示,适配器与基础模型保持接近。Pi 和 OpenCode 略为领先(27.0% 和 25.3% pass@1,对比 23.0%),merged adapter 基本持平(23.7%),Hermes 落后几分(17.7%)。除 Hermes 外,差异均在噪声范围内,因此 harness 内的 RL 既没有明显迁移到这个非常不同的设置,也没有在该设置下破坏模型。
| Model | pass@1(满足全部断言) | vs base | 部分得分(满足断言的比例) | vs base |
|---|---|---|---|---|
| base | 23.0% | 62.2% | ||
| pi 160 | 27.0% | +4.0 | 66.2% | +4.0 |
| opencode 150 | 25.3% | +2.3 | 65.2% | +3.0 |
| merged | 23.7% | +0.7 | 60.6% | −1.6 |
| hermes 160 | 17.7% | −5.3 | 56.6% | −5.6 |
开放问题:模型真正学会了什么?
我们感谢用户和社区的反馈,社区的初步测试和结果总体来看极为正面,我们希望未来继续朝这个方向推进。我们也看到了一些令人惊讶的结果,例如用户报告 harness adapters 在 Qwen3.8 衍生模型(如 Swift-1.5)下表现非常好。
这个问题是我们在发布后思考的一个开放问题。在仔细检查评估基准生成的轨迹后,我们发现模型在非思考模式下,倾向于在提出工具调用之前生成一些简短文本,而基础模型则几乎不生成任何前置文本就直接生成工具调用。
这一现象可以视为一种“推理泄漏”,即模型学会通过生成一些有时看起来像推理痕迹的文本(例如:..wait? ..let me see 等),从非思考版本“逃逸”到思考版本。最近的一篇论文也很好地描述了 LLM 在 RL 阶段的行为。
这是否使我们的模型失效?我们认为并非如此,因为最终结果仍然有效;在完全相同的条件下(固定 token 预算),我们的适配器确实(大幅)优于基础非思考模型,并达到思考版本的性能,同时 token 效率高得多。社区的正面反馈进一步证实了这一点。
然而,这也引出了后续工作的必要性:我们将尝试把同样的 pipeline 重新应用于纯思考模型,并探索混合思考/非思考训练,以更好地理解 RL 训练在混合思考模型上的行为。一旦获得结论性结果,我们将与社区分享我们的下一步发现(以及 harness adapters)。
结语与未来方向
文章标题:Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost
正文: 在整个工作中,我们证明了在目标 harness 内对模型进行 RL 训练,会让最终模型在相同条件下评估时更加高效、因而也更加准确。这一观察与 Hugging Face 团队此前的多项工作一致并延续了这些工作,例如 multi-harness-RL 或 harness adapters 的早期迭代。
未来,我们将探索把这一配方应用到更多模型上,同时更好地研究混合思考 / 非思考模型的训练策略。
我们还向社区公开分享完整的配方和流水线,以复现所有内容,并邀请所有人基于自己的代码库或任何相关材料构建自己的 RL 任务,并将同样的训练配方和思路应用到他们最喜欢的模型和 harness 上,以获得更高效的智能体模型。我们希望这篇博文能成为构建者的起点,在未来构建并分享他们自己的 harness adapters。