Newshot

与AI研发相关的模型能力正在快速提升

Translation(model translation, not the source's own text)
This piece is long: the translation covers roughly the first 61323 characters. Use the language link above for the other version.

文章标题:AI 研发相关模型能力正在快速提升

正文:

  • 1 背景
  • 2 方法论
  • 4 稳健性检验
  • 5 讨论
  • 6 致谢
  • 附录A 难度估计与基线设定B 时间跨度诊断C MCI 建模方法论D IRT 的局限性E MCI 稳健性检验F 估计任务的生命周期成本G 数据完整性与奖励黑客H 能力增长率的变化I 推理扩展J 集群实验K Al Zimmermann 的编程竞赛L 预算 NanoGPTM 制作 METR 任务N Earthborne Rangers 与持续学习O 关于模型优势与局限的定性与外部证据
  • A 难度估计与基线设定
  • B 时间跨度诊断
  • C MCI 建模方法论
  • D IRT 的局限性
  • E MCI 稳健性检验
  • F 估计任务的生命周期成本
  • G 数据完整性与奖励黑客
  • H 能力增长率的变化
  • I 推理扩展
  • J 集群实验
  • K Al Zimmermann 的编程竞赛
  • L 预算 NanoGPT
  • M 制作 METR 任务
  • N Earthborne Rangers 与持续学习
  • O 关于模型优势与局限的定性与外部证据

概述

本文呈现了我们对与 AI 研发加速相关的公开模型进行能力评估所获得的证据,评估范围截至 Opus 5.5 和 GPT-6 Astra。对于几个核心问题,我们仍存在显著的不确定性,包括:(1) 在实践中,究竟需要哪些能力才能实现大幅加速;(2) 相关模型能力的提升速度有多快。

我们认为,目前的公开证据不足以排除未来几年内出现剧烈的 AI 研发加速。我们所说的剧烈 AI 研发加速,是指能力提升如此之快,以至于人类不再能够有意义地理解、评估并应对新 AI 系统所带来的灾难性风险。

本概述总结了我们的主要结论及其在本文中的相关章节。

1 背景描述了我们的动机与目标,以及自最初的时间跨度论文发布以来,我们对能力评估的思考发生了怎样的变化。

2 方法论描述了本文中使用的不同任务集、人类基线设定方法的变化,并介绍了我们对每个任务采用多个分数阈值的做法。

2026 年 11 月 AI 能力测量更新
2026 年 11 月 AI 能力测量更新

图 1:2026 年 11 月 AI 能力测量更新

3 结果包含了支撑我们主要结论的证据,这些结论是:

  • 在我们的编程和优化任务上,模型通常能够达到或超过熟练人类的表现(第 3.A.1 节)。当我们招募自己的人类基线设定者时,我们通常找不到表现优于当前前沿模型的人类。在少数几个已有大量(10 名以上)领域专家尝试某一任务的案例中,模型往往处于非常高的百分位,但并非绝对顶尖(第 3.A.2 节)。
  • 在我们的数据集上,即使控制了这些任务对人类所需的时间,模型在那些我们估计转换为 RL 训练环境成本更高的任务上表现会稍差一些。然而,模型在我们成本较低和成本较高的任务上似乎以相似的速度提升(第 3.B.1 节)。我们观察到,各种能使评估更贴近现实的属性,也会使评估的构建、运行和评分成本更高。我们使用一个基于模型估计的度量,称为“生命周期成本”,来尝试量化这种观察到的成本高昂程度。在我们的数据中,对于一个给定长度的任务,生命周期成本翻倍所带来的难度惩罚,大致相当于将智能体的时间跨度减半。尽管如此,我们在高成本和低成本任务子集上看到相似的进展速度,而且即便在我们成本最高的任务上,我们也看到 AI 表现随时间提升。

文章标题:与 AI 研发相关的模型能力正在快速提升

正文:

  • 在我们那些需要在缺乏明确实证反馈的情况下做出选择的任务上,AI 智能体的判断力似乎不如人类专家(第 3.B.2 节)。当反馈缓慢,或可用的测试只能提供有限证据来证明某个解决方案能否泛化时,这一点尤其重要。例如,在一项任务中我们发现,与专家评分者相比,当输出由能力相当或更强的模型生成时,模型评判者会高估该输出的质量。
  • 在 TH1.1 与 TH2 合并的套件上,时间跨度大约每 3.6 个月翻一番(第 3.C.1 节)。由于 TH2 更难,任何给定模型在这个合并套件上的 50% 时间跨度都低于仅在 TH1.1 上的水平。⁠1 我们发现,在排除 TH1.1 后,TH2 的一个子集(可验证子集)上的时间跨度翻番趋势更短。这可能与近期时间跨度的加速相一致,而这种加速被合并趋势(同时包含 TH1.1 和 TH2)所掩盖,原因是对于给定的时间跨度,TH2 任务更难;但也存在其他可能的解释。合并套件上的翻番时间与 OpenAI 近期在内部研究任务上报告的趋势相似。⁠2
  • 当用随时间变化的模型能力复合指标来追踪公开模型能力时,在我们测试的模型所构成的公开前沿上,我们没有看到模型能力出现明显的加速或减速。不过,在某些条件下,我们确实看到了开发者特定趋势变化的不确定证据(第 3.C.2 节)。我们使用一个指数(METR Capability Index,即 MCI)来追踪过去几年前沿 AI 能力,其基础是 IRT,这是一种统计建模技术,与 Epoch Capabilities Index 背后的技术类似。与这类其他指数⁠3相似,我们没有观察到整体公开前沿趋势的斜率变化(在我们测试的公开模型上),但确实观察到了一些开发者特定的斜率变化。⁠4 然而,由于这些发现对方法学选择较为敏感,我们不确定其有效性。

4 稳健性部分详述了我们对结果所做的各种检查,例如检查 reward hacking 和拒答情况。我们还研究了智能体群体(agent swarms)作为一种能力激发技术的有效性,发现它们在具有明确指标和快速反馈的可验证任务上似乎有帮助(与 best-of-k⁠5相比),而在我们的其他任务上效果不明确或为负面。

5 讨论部分描述了评估 AI 研发加速的开放性问题。

附录更详细地介绍了我们的方法学,报告了我们分析的稳健性检查,并重点介绍了具有显著模型行为的个别任务。

1 背景

在这篇文章中,我们聚焦于与加速 AI 研发相关的能力测量。对于 AI 研发相关能力评估而言,一个尤其突出的不确定性是:仅在“定义良好”的任务上表现强劲,是否就足以带来 AI 研发的急剧加速,还是说还需要其他能力。我们的目标是呈现无论读者对该问题持何种观点都具有信息量的证据。

历史上,METR 使用我们的“时间跨度”指标来衡量 AI 系统与 SWE 相关的智能体能力。⁠6 时间跨度测量对风险评估很有用,因为 (1) 我们认为用时间跨度套件所测量的能力是构成灾难性风险的必要条件,(2) 我们的时间跨度测量在很大程度上以人类参考数据为基础,这使其更容易与风险相关阈值建立联系,以及 (3) 所测量的能力远未达到可能的危险水平,这使我们能够以合理的信心论证这些系统构成的灾难性风险可忽略不计。例如,参见 METR 对 GPT-5 的评估。

自时间跨度最初发布以来,情况已发生很大变化,这导致我们的方法和思路出现了各种变化:

文章标题:与 AI 研发相关的模型能力正在快速提升

正文:

  • 公开模型在许多任务上已经大幅进步:2025 年 3 月 time horizon 首次发布时,最好的模型测得的时间跨度约为 1 小时(Sonnet 3.7)。不到一年,模型就已经饱和了 TH1.1 套件,该套件包含最长 30 小时的任务。在许多领域,如今要找到表现优于模型的人类基线测试者既困难又昂贵。⁠7
  • 公开模型在编程和黑客等领域的能力已经足够强,我们不再认为可以仅凭可验证的 SWE 类任务上的能力不足来论证风险很低:例如,公开的前沿模型能够入侵服务,⁠8⁠9⁠10 推理自身被评分的机制⁠11,并绕过沙箱设置的限制。⁠12 因此,若要就能力带来的风险作出论断,我们需要要么 (1) 更深入地考察该 agent 能力画像的具体细节,以及特定威胁模型所需的能力,要么 (2) 找到其他必要的、广泛的 agent 能力局限来界定风险。
  • 我们越来越担心,我们那些易于运行的容器化评测可能会高估现实世界中的能力,因为类似的 RL 环境在训练中正变得普遍。AI 开发者和评测者都共同渴望获得关于 AI 能力的定量、廉价信号(开发者用于训练,评测者用于测量)。因此,我们认为评测往往与用于训练模型的 RL 环境有大量共同之处。这对评测者来说是个问题,因为我们常常希望把评测作为某些其他更难测量的目标能力的代理指标。⁠13 当这些代理指标(或邻近任务)被用于训练时,它们就容易高估这些目标领域的能力。⁠14 我们有些担心,AI 开发者利用现有廉价、定量的能力信号进行训练的做法,意味着评测者可用于对目标能力进行可泛化测量的相对未受污染的信号变少了。

这些形势变化促使我们对能力评估方法做出了各种调整。总结如下:

  • 人类基线与时长的估计方式变化:由于我们的新任务更难,且我们旨在相对于 AI 研发实验室员工来评估模型能力,我们招募了比以往工作中 STEM 毕业生更有经验的人类基线测试者。所需的专业知识和时间投入使招募变得困难,因此我们收集到的人类基线数量大幅减少。我们还允许人类基线测试者使用 Sonnet 5 进行实现。我们这样做是为了帮助招募,并尽量避免基线测试者因习惯借助 AI 辅助编程而导致的进度拖慢。⁠15 在我们对“人类完成任务需要多长时间”的估计中,只有 9% 直接使用了人类基线。对于没有成功人类基线的任务,我们采用一种基于公开记录、专家意见和外推的估计流程,详见附录 A:难度估计与基线建立。
  • 任务覆盖范围与每任务多个分数阈值:为了善用我们有限的资源,我们尝试制作更有针对性的评测,聚焦于我们认为与 AI 研发相关优势与劣势有关的能力。例如,指标优化、逻辑谜题和依赖判断力的任务。因此,我们开发的新任务在通用 SWE 工作的覆盖范围上不如 TH1.1 套件广泛。此外,我们的许多新任务现在有多个分数阈值,而非只有一个。这让我们能从每个任务中提取更多信息,代价是部分分析变得更复杂,⁠16 详见第 2 节。
  • 对疑似系统性测量问题的调查与处理:如上所述,我们担心与我们的评测和 RL 环境相似性相关的系统性测量问题。我们试图通过使用更多人工评分任务和定性证据来缓解这一问题,或者开发我们预期与 AI 开发者训练环境相似度较低的评测,同时仍与我们关心的能力相关。

2 方法论

我们讨论来自多个任务和实验的结果,其中许多任务和实验有各自特定的方法、预算和可供性(例如 GPU、互联网访问等)。本节描述共享的方法论。

Agent 设置。对于所有任务,我们使用标准的 ReAct 风格脚手架评估模型,该脚手架除其他工具外,还具有 bash、python 和图像查看工具。⁠17 我们以 xhigh 或更高的推理强度(一个控制模型在行动前推理多少的设置)运行模型,对于 2026 年 2 月之前的模型,使用可用的最高推理设置。Token 和时间限制按任务选择,目标是让 agent 性能在进一步推理扩展时达到平台期,尽管这一目标并不总是实现,见附录 I:推理扩展中的 token 扩展曲线。

任务套件。我们的结果涵盖三个不同的任务套件:

  • Time Horizon 1.1:222 个任务,包括来自 SWAA、HCAST 和 RE-Bench 的任务。
  • MirrorCode:75⁠18 个 CLI 软件复现任务。
  • TH2:36 个任务,分为 12 个任务族⁠19,包含两个大类:TH2 可验证:8 个任务族,涵盖优化、ML、谜题和游戏。TH2 难以验证与判断:4 个任务族,涵盖概念推理、判断和难以验证的研究。
  • TH2 可验证:8 个任务族,涵盖优化、ML、谜题和游戏。
  • TH2 难以验证与判断:4 个任务族,涵盖概念推理、判断和难以验证的研究。
TH2 任务对 AI agent 更难,且估计需要人类更长时间
TH2 任务对 AI agent 更难,且估计需要人类更长时间

图 2:TH2 任务对 AI agent 更难,且估计需要人类更长时间

新任务集。我们创建的任务集涵盖两类:

  • 可验证:在这些任务中,agent 朝着一个定义明确的目标努力,该目标被自动评分,例如优化目标、分数或在留出输入上的准确率。它们通常在工作时根据目标衡量进展,尽管在某些任务中它们需要构建代理指标。
  • 难以验证与判断:在我们的难以验证任务中,agent 处理一个开放式研究问题,没有廉价的方法检查成功或进展,通常由人类或给定人类撰写评分标准的模型来评判最终输出。这些研究任务大多基于我们在 METR 自己的工作。我们还创建了更多负载判断的任务。所谓判断,我们广义上指的是在没有清晰快速的经验反馈的情况下做出良好选择的能力。⁠20 在这些任务中,agent 通常被给定一个工件(例如,另一个 agent 在某任务上的记录),并被要求为某种目的判断其质量。

下表总结了每个集合中的任务族。

任务集任务族
TH2 可验证AZsPCs(15 个任务):解决来自 Al Zimmermann's Programming Contests 的启发式优化问题。
Budget NanoGPT(2 个任务):基于 NanoGPT speedrun 优化一个语言模型训练脚本。
Minecraft Bot(3 个任务):构建一个能通关游戏的自主机器人。
Reverse Conway(2 个任务):在 Conway's Game of Life 中找到一个能演化为目标图案的初始棋盘。
Train a Program(1 个任务):训练一个神经网络来复现给定程序的 I/O。
Earthborne Rangers(2 个任务):游玩一款涉及资源管理的卡牌游戏。此任务是 Epoch 的 EBR-Bench 的轻度改编版本。
Slay the Spire(4 个任务):通过文本界面游玩一款 roguelike 游戏。
Dominion-like Game(2 个任务):游玩一款牌组构筑游戏。
TH2 难以验证与判断Making METR Tasks(1 个任务):构建一个 METR 会认为有信息量的评估任务。
Investigate Wiki Incident(1 个任务):基于 MessageBoardAuditBench 重建一项关于 AI 智能体在 wiki 上串通的调查。
LMCA(1 个任务):对哲学论证的批评进行评分,评分依据是与专家评分的一致程度,来自 Cooper et al.。
Judge Run(2 个任务):用评分量表为某个智能体在 Making METR Tasks 上的运行打分。

评分。与我们早先的套件不同,TH2 包含一些由人工(Making METR Tasks)或模型评判者(Investigate Wiki Incident)手动评分的任务。⁠21 在 Time Horizon 1.1 中,连续评分的任务通过一个任务特定的阈值二值化,该阈值被选为代表人类表现。对于我们新增的任务,在可能的情况下,我们改为使用基于该任务上中间人类表现的多个分数阈值。我们将这些阈值定义为 (score, time) 点:每个点是专家人类达到相应分数所花费的时间。

我们为 36 个新任务中的 34 个定义了 (score, time) 点,混合使用了成功的人类基线(3 个任务)和研究者在给定时间下的分数估计(31 个任务)。尽管我们尽了最大努力招募强人类基线测试者,有时我们的基线仍低于我们估计的 AI R&D 专家(例如实验室员工)所能达到的水平。在此类情况下,当我们能为其可行性给出合理论证时,我们使用了我们的估计。我们的估计通常依据真实人类工作的记录,例如 NanoGPT speedrun 记录,在某些情况下也依据专家或我们自己的经验。当一个任务有多个基线时,我们使用得分最高的基线的点。更多细节见 Appendix A: Difficulty Estimation and Baselining。我们在 Appendix B: Time Horizon Diagnostics 中纳入了关于时间跨度趋势对这些估计有多敏感的稳健性检查。

运行覆盖。在 TH1.1 和我们的新套件 TH2 上,我们通常运行 15 个模型:GPT-4o、o1、GPT-5、Opus 4.5、Opus 4.6、GPT-5.4、Opus 4.7、GPT-5.5、Opus 4.8、Fable 5、GPT-5.6 Sol、Opus 5、Fable 5.1、GPT-6 Astra 和 Opus 5.5。当我们提到使用 MirrorCode 任务套件时,我们使用的是不覆盖最新模型的较旧运行。⁠22

最后,在本帖中我们使用 IRT 方法将智能体表现汇总到单一尺度上,并处理不均匀的运行覆盖。我们接下来描述这一方法。

METR Capability Index (MCI) Methodology

文章标题:AI R&D-relevant model capabilities are improving rapidly

正文: 在我们的部分分析中,我们希望为模型能力和任务难度建立一个统一的标度。尽管与人类的能力画像相比,模型的能力画像往往是“参差不齐”的,但不同模型之间的能力画像通常相当相似。这为我们提供了一个机会,可以用一个单一的潜因子来粗略概括它们的能力。项目反应理论(IRT)模型是一种通过拟合数据来找到这些潜在“强度”因子的方法。METR 能力指数(MCI)是一种 IRT 模型,其思路与 Epoch 能力指数(ECI)非常相似。然而,与 ECI 跨公共基准聚合模型表现不同,我们的模型以单个任务为分析单元,并使用我们自己开发的任务。

值得注意的是,与类似“时间跨度”的轴不同,IRT 模型不需要以人类表现作为校准基准。能力轴反映的是模型在各任务上表现出的强项与弱项模式,而非人类的模式。

对于我们每个任务,我们定义 [0,1] 区间内的一个标度,其中 0 对应失败,1 对应满分⁠23,并对智能体 \(m\) 在任务 \(t\) 上获得的分数拟合一个二参数逻辑斯蒂模型⁠:

\[p_{mt}=\sigma (\alpha_{t}(\theta_{m}-\beta_{t})),\quad \sigma (x)=\frac{1}{1+e^{-x}}\]

其中 \(p_{mt}\) 是智能体 \(m\) 在任务 \(t\) 上的期望得分⁠,\(\alpha_{t}\) 是任务区分度,\(\beta_{t}\) 是任务难度,\(\theta_{m}\) 是智能体能力。当智能体的能力 \(\theta_{m}\) 等于任务的难度 \(\beta_{t}\)⁠ 时,智能体预期可获得最高可能得分的 50%。斜率参数 \(\alpha_{t}\) 刻画了期望得分在该 50% 点附近变化的快慢。

为拟合此二参数逻辑斯蒂模型,我们最大化分数逻辑斯蒂对数似然函数。我们还施加了权重,例如:根据我们在某任务上的运行次数进行上调权重,对大量相似任务下调权重,以及对观测数据与我们的模型拟合不佳的“噪声”任务下调权重。我们通过跨任务族和运行的层次化自助法生成 95% 置信区间。完整的 IRT 模型与拟合细节,见附录 C:MCI 建模方法。我们还对模型进行了多种稳健性检验,详见附录 E:MCI 稳健性检验。

3 结果

本节将介绍我们的结果及其他收集到的证据。3.A 节涵盖 AI R&D 相关模型能力优势,3.B 节涵盖模型局限性,3.C 节涵盖能力趋势。

3.A AI R&D 加速相关能力

我们发现,当前公开的前沿模型在优化任务上具有极强的能力,往往超过熟练的人类。一般而言,这些任务具有明确界定且可廉价检验的目标。通常,解决方案除了由某个分数所表达的判据或约束外,几乎没有其他必需判据或约束,而且该分数往往对智能体可观测。

3.A.1 节描述了模型在我们困难但定义明确的编程与优化任务上超过我们人类的证据。3.A.2 节描述了在有数据可循的领域,模型相对于顶尖专家的表现。

附录 O:关于模型优势与局限的定性与外部证据还描述了外部证据,表明模型在该领域的优势不仅限于基准测试。

3.A.1 模型在具有强反馈信号的编程问题和指标优化上往往匹敌或超过熟练人类

我们看到模型在 TH1.1(我们较早的、主要可验证的任务集)以及 TH2 任务的可验证部分上表现出强劲性能。当前公开的前沿模型在我们 TH2 任务的可验证子集上估计时间跨度最高可达 27 小时。

文章标题:AI R&D-relevant model capabilities are improving rapidly

正文: 我们还发现,在我们尝试获取人类基线的 3 项任务上,当前公开的前沿模型能够击败我们招募的人类基线选手。由于我们想衡量模型是否能够取代 AI 开发者员工,我们的目标是招募技能水平相近的基线选手。我们招募了在任务领域具有专业知识的人员。例如,对于 Train a Program,我们最好的外部基线选手是一位前 Codeforces 国际特级大师,并赢得了 2020 年 Kaggle ARC-AGI 竞赛。对于 Minecraft Bot 和 Reverse Conway,我们表现最好的基线选手资历稍逊,但具有可弥补的专业知识或经验。我们支付了每小时 \$200-350 的报酬,7 次基线尝试总共花费了约 \$90k。

总体而言,我们不确定我们的基线选手与 AI R&D 实验室员工是否具有可比性。我们猜测,我们的基线选手在任务领域内的技能水平可能无法匹配典型前沿 AI 研究人员在其自身领域内的技能水平。一方面,我们的基线选手经验丰富,并且通常具有与任务相关的具体经验。另一方面,AI 开发者提供非常高的薪酬,并且拥有专门优化寻找高天赋人才的招聘团队。此外,我们的任务需要数十小时的投入,这很可能筛选掉了有全职工作的潜在参与者,并可能导致了一些逆向选择效应。关于人类基线的更多细节,见附录 A:难度估计与基线建立。

其他各种工作也观察到在这类任务上的高能力。例如,在 MirrorCode 上,智能体通过对照完整测试套件重新实现软件,Opus 5.5 解决了 77% 的中大型程序,而人类专家独自完成这些程序需要数周到数月。GPT-6 Astra 最近在 FrontierMath Tier 4 上得分 98%,这是一个研究级数学问题基准,设计上需要该领域的一位强数学家花费 1-2 周。

3.A.2 在我们拥有更多人类数据的任务上,模型在可验证优化任务中优于大多数人类,但并不总是压倒顶尖专家。

对于我们的两个 TH2 可验证任务族,我们拥有更大的既有人类数据池,可用于比较模型表现。在这两个任务族上,我们观察到 AI 智能体具有较高的百分位表现,但通常无法击败表现最顶尖的人类。

当前公开的前沿模型在参与者众多的任务上优于大多数人类(但并不总是最顶尖的专家)
当前公开的前沿模型在参与者众多的任务上优于大多数人类(但并不总是最顶尖的专家)

图 3:当前公开的前沿模型在参与者众多的任务上优于大多数人类(但并不总是最顶尖的专家)

左侧,我们展示了模型解在 AZsPCs 竞赛中相对于人类参与者的排名。右侧,我们展示了模型相对于第 #78 名记录的加速比,在人类第 #79 至 #92 名记录的加速比中排名。对于 AZsPCs,模型在 28 核机器上有 48 小时,参与者有大约三个月。对于 Budget NanoGPT,模型在 8xH100s 上有 48 小时,贡献者通常报告每条记录 16 至 40 小时。

这两个任务族中的第一个是 15 个 Al Zimmermann 竞赛,即持续数月的优化竞赛。我们发现最强模型(Fable 5.1、Opus 5.5 和 GPT-6 Astra)的中位排名是人类参与者的第 96 至 98 百分位(每场竞赛 97 至 413 名参与者)。我们估计,一位专注的人类参与者在整个竞赛过程中可能花费 90 到 180 小时。我们认为人类参与者池的顶部相当强。⁠24 在中位竞赛中,大约有 4 名人类击败了我们测试的最强模型,见图 3(a)。

这两类任务中的第二类是 Budget NanoGPT speedrun,在这项任务中,我们让 AI agent 使用与人类 speedrunner 通常使用的算力⁠25 相当的算力来运行。Agent 的解法(全部从记录 #78 开始)与人类记录并非完全可比,因为每个人类记录都建立在此前记录的基础之上。不过,对贡献者的访谈表明,每个人类记录所耗费的劳动和资源大致相当,与我们的某一次 agent 运行相当。因此,我们将每次 agent 运行的加速比与单个人类记录的加速比进行比较,并认为这种比较虽然粗略,但仍具有参考价值。另请注意,近期的“人类记录”可能是 AI 辅助的(有时辅助程度很高),并且我们只纳入截至 2026 年 8 月的人类记录。

在 Budget NanoGPT speedrun 上,我们发现完全自主的 AI agent 的表现优于许多有能力的 speedrunner,在实现更好加速比的同时成本更低。然而,顶尖人类贡献者仍能达到远高于 AI agent 的加速比,见图 3(b)。最佳的 AI agent 运行(每个模型运行 2 到 5 次)在 48 小时内相对于我们的起始记录实现了 15.7% 的加速。最近一个异常强劲的记录(#92)的作者在 AI 辅助编码的情况下,估计花费约 60 小时,相对于此前记录实现了 41% 的加速。

关于每项结果的更多细节,见附录 K:Al Zimmermann's Programming Contests 和附录 L:Budget NanoGPT。

3.B AI R&D 加速相关能力局限

在本节中,我们提供证据表明,当前公开的前沿模型存在能力局限,这些局限可能阻止它们通过自动化研究工作来大幅加速 AI R&D。

在 3.B.1 节中,我们引入了 Lifecycle Cost,这是一个粗略的代理指标,用来衡量构建一个任务并将其用作 RL 训练环境的成本有多高。我们发现,在我们的数据集上,模型在 Lifecycle Cost 更高的任务上表现更差,即使控制了任务长度也是如此。

3.B.2 节描述了与以下局限相关的证据:在难以获得关于解法质量的清晰经验反馈的任务上表现良好。在这类任务中,agent 需要自行创建质量指标、处理权衡取舍或运用判断力。

附录 O:关于模型优势与局限的定性和外部证据也描述了 AI 相关研究背景下关于弱点的外部证据。

3.B.1 在我们的数据集上,即使控制了任务长度,模型在我们估计更难转化为 RL 训练环境的任务上表现更差。

正如第 1 节所讨论的,METR 当前衡量模型能力的主要方式——evals——很可能与公司用于训练其模型的 RL 环境有许多共同之处。这是因为 METR 和 AI 开发者都希望能够廉价、容易地捕获关于模型能力的信号。随着 RL 在训练中所占比例增大,我们越来越担心这种重叠会导致系统性的测量问题。

为了尝试量化一个任务转化为 RL 环境的难度,我们创建了一个非常粗略的代理指标,称之为 Lifecycle Cost。这是我们为该任务开发容器化环境、然后运行并评分该任务 100 次的成本。⁠26 这个量的目标不是反映 RL 环境本身的“真实成本”,而是提供一个关于相对成本的粗略定量指标。

表 1 给出了我们发现的、会使创建高度真实任务更昂贵的属性示例,Lifecycle Cost 旨在捕捉这些属性。

使创建真实任务更加昂贵的特性:人工评分、每次运行的计算量、串行时间、token 成本、动作监控、环境复杂度、与真实世界的交互、隐式泛化要求、对 reward hacking 的鲁棒性、专家的使用,以及运行期间的人工交互。
使创建真实任务更加昂贵的特性:人工评分、每次运行的计算量、串行时间、token 成本、动作监控、环境复杂度、与真实世界的交互、隐式泛化要求、对 reward hacking 的鲁棒性、专家的使用,以及运行期间的人工交互。

图 4:使创建真实任务更加昂贵的特性

成本因素示例
人工评分在许多情况下,程序化评分会对任务造成过度约束,且模型可能无法正确判断输出的质量。在这些情况下,我们可以使用人工来对输出进行评分。当评分者必须是专家时,这种成本尤其高昂。例如 Making METR Tasks 和 Sunlight。⁠ 27
每次运行的算力我们的部分任务涉及使用 GPU 或其他算力基础设施,这会产生相关成本。在 TH2 中,Budget NanoGPT 和 Train a Program 都使用 GPU。
串行时间完成时间较长的评估通常更难构建和运行。长任务往往更容易出现技术问题,而且长度常常会放大其他成本因素,例如监控成本。⁠ 28 我们在 TH2 可验证任务中最长的评估运行时间为 48 小时。
Token 成本模型使用更多 token 的任务运行成本更高。一项评估的 token 成本通常(但并非总是)与运行该任务所需的串行时间相关。⁠ 29
行为监控有时模型的行为方式可能造成现实世界中的危害。METR 会对某些高风险评估进行监控以防止此类情况。这会增加 token 成本,并且通常需要人类研究员花费时间进行审批。关于 METR 监控设置的更多细节可在这篇文章中获取。
环境复杂性提供更多组件或交互机会的环境通常更难构建。因此,通常更可取的做法是从某些现有制品(例如游戏或数据集)中“导入”复杂环境。对于更复杂的制品,在确保任务公平的同时导入任务的过程通常更难,因为出现 bug 的机会更多,且 QA 的人力成本增加。引入环境复杂性的另一个明显途径是允许评估与“现实世界”交互,我们将在下文讨论这一点。
与真实世界交互允许访问互联网,尤其是与真实世界交互(例如在某个预测市场上赚钱),是将大量现实复杂性纳入任务的一种潜在方式。然而,真实世界交互会增加监控需求以及与防范非预期解决方案相关的 QA 成本,从而增加生命周期成本。这类任务通常还存在更多噪声问题(缺乏可复现性),生命周期更短(互联网和世界会随时间变化),并且涉及需要评估者投入一定管理开销的资源(例如加密货币、信用卡、账户)。
隐式泛化要求在实际工作中,可用于迭代的现成度量指标与适用于解决方案的最终要求之间通常存在一定差距。例如,针对应用程序当前已知的功能需求及其相关测试进行迭代,比选择一个易于适应未来需求并能排除较难察觉的失败模式的架构要容易。以公平的方式引入这些泛化要求,通常需要为 agent 提供更多关于其解决方案将被使用的更广泛情境的上下文,这会额外耗费开发时间。此外,对解决方案的最终要求往往在更长的时间尺度上才能最自然地得到检验,这会使评分更加困难。⁠ 30

| 使任务对 reward hacking 具有鲁棒性,并使评分对目标能力敏感 | 通常情况下,当我们最初构建一个任务时,任务设计中的疏漏意味着 agent 可以通过并未测试目标能力的方法获得高分。尽管我们的许多任务都包含遵循评估预期精神的指示,我们仍然发现需要投入大量“加固”工作来防止 reward hacking 或其他“取巧”的解决方案。这增加了实现和 QA 成本。这也增加了运行成本,因为

文章标题:AI 研发相关模型能力正在快速提升

正文: 我们通常在每次运行时都会检查是否存在 reward hacking。⁠ 31 |

专家参与部分任务需要专业知识和时间来创建、运行或评分。例如,由专家创建的数据集(LMCA),以及需要专家评分的评估(Making METR Tasks、Sunlight)。
运行期间的人工交互需要人类参与的任务(例如在游戏中,或在对抗性网络挑战中)。此类任务的时间成本、协调成本和人力成本都相当可观。⁠ 32(我们的 TH2 任务均不包含此项)。

AI R&D-relevant model capabilities are improving rapidly

我们用 LLM 裁判(Opus 5.5)来估算任务的 Lifecycle Cost。该裁判会得到任务代码(包括 README、说明和评分标准),并被要求估算与任务相关的各项成本,例如开发、QA 和评分成本。我们还会把共享的开发成本分摊到相似任务组成的任务家族上。我们针对裁判的提示词进行了多轮迭代,使裁判的估算值在约 10 个跨领域、跨成本范围的任务上大致与我们自己的估算相符。⁠33 尽管我们预期该提示词能够较好地泛化到我们任务之外的任务,但诸如我们将成本拆分为哪些阶段、我们假设 AI 能将任务开发加速多少、人工费率等选择,都反映了我们自身的经验。关于我们如何估算 Lifecycle Cost 的完整细节,参见 Appendix F: Estimating Lifecycle Cost for Tasks。

我们认为,将 Lifecycle Cost 作为「制作合适 RL 环境的难度」的代理指标存在多种局限,而将「制作合适 RL 环境的难度」作为模型整体表现的预测指标同样存在局限:

  • RL 环境的创建难度并未考虑不同能力领域的需求差异。例如,我们可能假设 AI 开发者更有兴趣打造擅长编程的模型,而对打造擅长欺骗和破坏的模型兴趣小得多。
  • RL 环境的创建难度并未考虑跨任务泛化带来的收益,也未考虑在某一领域内实现泛化所需的任务覆盖量/覆盖程度。
  • 我们的 LLM 裁判是校准到我们自己对 Lifecycle Cost 的估算之上的,而这些估算又受到 METR 自身约束条件的影响。各实验室的约束条件很可能与我们不同。
  • 成本很可能随着模型能力提升而变化。今天成本高昂的事情,一年后或几个月后可能就不再昂贵。例如,按评分标准进行评判在 2023 年可能成本很高,但由模型评分的评分标准今天已很常见。在 Table 1 中,我们给出了迄今为止对我们而言增加了 Lifecycle Cost 的因素示例。我们并不声称这些是根本性障碍,甚至不声称它们在未来仍会相对昂贵。

Figure 5 展示了我们任务的人类完成时间与 Lifecycle Cost 的散点图。对于 TH2 任务,Lifecycle Cost 仅针对最高分数阈值进行估算。在我们的数据集上,人类完成时间与 Lifecycle Cost 相关性相当高(R2 = 0.82)。⁠34

在我们数据集的任务中,Lifecycle costs 与估算的人类完成时间相关
在我们数据集的任务中,Lifecycle costs 与估算的人类完成时间相关

Figure 5:在我们数据集的任务中,Lifecycle costs 与估算的人类完成时间相关

当我们控制完成时间与 Lifecycle Cost 之间的这种相关性后,我们发现(对于给定长度)Lifecycle Cost 较高的任务往往比仅由其完成时间所预测的难度略高一些(R2 = 0.14),见图 Figure 6。⁠35⁠36

我们估算认为转化为 RL 环境成本高昂的任务,往往对模型来说也更难
我们估算认为转化为 RL 环境成本高昂的任务,往往对模型来说也更难

Figure 6:我们估算认为转化为 RL 环境成本高昂的任务,往往对模型来说也更难

然而,我们的数据存在噪声,可能受到若干因素影响。例如,我们的许多任务时间是估算值,如果这些估算存在系统性偏差,那么这一效应的一部分可能来自任务时间上的误差。话虽如此,当我们用模型而非人类估算/基线来估算任务时间时,也观察到类似的趋势,这多少令人安心。另一个原因可能是,这一效应主要由少数高成本任务驱动。在上图中,我们通过过滤此类离群任务来处理这一点。更多消融实验见 Appendix F: Estimating Lifecycle Cost for Tasks。

文章标题:与 AI 研发相关的模型能力正在快速提升

正文: 当我们按高和低生命周期成本对任务进行子集划分,并控制任务长度,然后按发布日期绘制时间跨度时,我们发现模型在我们任务中生命周期成本较高的子集上表现更差,见图 7。平均而言,高生命周期成本子集的成本是低生命周期成本子集的 2.9 倍,而模型在时间跨度方面的表现也差 2.9 倍,相当于 1.5 次翻倍。

有趣的是,与较低生命周期成本子集相比,模型在较高生命周期成本子集上的表现更接近 OpenAI 在其自身内部研究使用中报告的表现。⁠37 我们这里没有很多任务分布可供比较,但我们认为这至少是一个令人鼓舞的迹象,表明我们有能力创建出在方向上更能预测“实际”AI 研发任务表现的评估。这似乎也提供了一些(微弱的)证据,支持生命周期成本与某些难度因素相关,而这些因素使得“真实”的 AI 研发内部研究任务对模型来说比某些类型的评估更难。

在我们估计制作成本更高的 TH1.1 和 TH2 任务上,即使控制长度,模型的 50% 时间跨度也更低。成本更高的子集更接近 OpenAI 研究使用所报告的难度。
在我们估计制作成本更高的 TH1.1 和 TH2 任务上,即使控制长度,模型的 50% 时间跨度也更低。成本更高的子集更接近 OpenAI 研究使用所报告的难度。

图 7:在我们估计制作成本更高的 TH1.1 和 TH2 任务上,即使控制长度,模型的 50% 时间跨度也更低。成本更高的子集更接近 OpenAI 研究使用所报告的难度。

在我们的数据上,较高成本子集的翻倍时间与较低成本子集的翻倍时间相似(且略短一些)。然而,我们的任务集只覆盖了相对生命周期成本的一个有限范围,因此有可能在足够高的相对生命周期成本下,翻倍时间会更长(或者反过来,会更短)。

如果我们认真看待生命周期成本是现实性的良好代理这一观点,那么翻倍时间的差异将对预测 AI 系统的影响具有重要意义:

如果较高生命周期成本任务实际上具有较慢的增长率,并且需要相对较高生命周期成本的任务,那么朴素外推可能会预测剧烈的 AI 研发加速要晚得多才会发生。

另一方面,如果在不同(相对)生命周期成本下增长率没有差异,那么这将意味着相对生命周期成本每翻一倍,只是将趋势延迟若干个月。在我们的数据集上,对于给定长度的任务,生命周期成本翻一倍会导致模型表现达到 50% 成功率的时间大约推迟 4.6 个月。⁠38 请注意,我们对于大幅加速 AI 研发所需任务的生周期成本高度不确定。它们可能比我们数据集中的典型任务贵很多个翻倍。⁠39

总体而言,我们仍然不确定高生命周期成本任务与低生命周期成本任务的相对增长率。更多信息见附录 F:估计任务的生命周期成本。

使用与时间跨度类似的方法,我们还估计了生命周期成本跨度,即模型估计的、智能体有 50% 概率成功完成任务的生周期成本。我们发现模型的生命周期成本跨度也在稳步提升,尽管与时间跨度趋势相比翻倍时间更长。关于生命周期成本跨度趋势(图 51)以及各模型对应的逻辑拟合,见附录 F:估计任务的生命周期成本。

3.B.2 在解决方案的“真实”质量因反馈循环过长或要求解决方案具有泛化性而难以由智能体确定的领域,模型的判断力似乎不如人类专家

我们认为在一定程度上已被生命周期成本涵盖的一个属性是任务的可验证性或“模糊性”。较“模糊”的任务往往更难自动评分,或者要以对典型评估场景而言资源消耗过大的方式才能更忠实地评分。这些“模糊”任务通常被认为会加载到“品味”和“判断力”等技能上,并且常常以“研究”作为核心例子。我们认为,在“模糊”任务和“可验证”任务之间做二元区分可能有些误导。许多通常被归类为“模糊”的任务,实际上在某种方式上是可以验证的,只要有足够的时间让给定解决方案的后果显现出来。例如,为某个目的制作一个“好应用”可能被视为模糊任务,但给予足够的时间和使用曝光,我们最终可以观察到更客观、更忠实的质量衡量指标,例如用户数量或评分。将其操作化的一种方式是,从长期来看评估解决方案质量的一般成本。那些要真正“走完”整个过程、达到可以评估长期质量的程度成本很高的任务(例如决定研究议程),属于验证成本更高的任务。因此,我们预期这些“更模糊”或“验证成本更高”的任务,其生命周期成本会高于其长度所对应的典型水平。

在本节中,我们讨论与模型“判断力”能力相关的证据,并提供另外几个与管理自身反馈回路相关的弱点例子。按照第 2 节的定义,所谓判断力,我们广义上指的是在缺乏清晰、快速的经验反馈时做出良好选择的能力。这通常由强有力的论证和推理驱动,或者通过经验灌输,并通过谨慎应用习得的启发式方法表现出来。在实践中,这可以短路原本必要且昂贵的反馈回路。因此,“判断力”在“验证成本更高”的任务上尤其有帮助。

我们不清楚 AI R&D 的急剧加速在多大程度上需要判断力或相关能力。我们将在第 5 节进一步讨论。然而,我们会认为“判断力”及相关能力的弱点,是可能最严重拖延 AI R&D 急剧加速的合理候选因素。

作为这些领域的一项衡量指标,我们运行了 LMCA,这是一个基准,模型需要对哲学论证的批评进行评分。模型表现出稳步提升,许多模型的 agreement 高于估计的、在该任务上花费 5 分钟的专家人类的 agreement 水平,但所有公开模型仍低于估计的、花费 15 分钟的专家人类的 agreement 水平。

我们设计了一个任务,用来测试模型自动化制作我们评估的能力。该 agent 被要求为我们的评估套件创建一个新任务,该任务对 METR 对模型能力的评估具有信息量。agents 产生的任务中,没有一个对我们足够有用,值得纳入本文。

AI agents now build borderline-useful tasks, but not yet ones we consider especially informative
AI agents now build borderline-useful tasks, but not yet ones we consider especially informative

Figure 8: AI agents now build borderline-useful tasks, but not yet ones we consider especially informative

我们测试的模型普遍偏好制作自动评分的优化任务,即使(在后续实验中)被指示去制作“成功对短期反馈不佳的决策敏感”的任务时也是如此。尽管有互联网访问,agents 并没有独立尝试去更好地理解 METR 会觉得哪些任务最有用。我们没有观察到 agents 产生新颖的威胁建模,也没有基于关于模型能力的特别有洞察力的假设来构建任务。

AI R&D-relevant model capabilities are improving rapidly

我们观察到,当模型被要求评判其他模型完成的任务的质量时,存在相关的缺陷。当要求模型按照这些任务对我们的有用程度打分时,它们与我们自己评分的吻合度取决于评判模型和任务创建模型的相对强弱。

当任务由比自身更弱的模型创建时,前沿模型的评分与我们的评分高度一致;但当任务由更强的模型或强度相近的模型创建时,它们会给出高得不合理的分数,见图 9。⁠45 Opus 5.5 是与我们人类评分者吻合度最高的评判者,它对 Astra 任务的评分平均比我们人类高出约 0.2(满分为 1)。⁠46

AI judges are overgenerous on tasks made by stronger models
AI judges are overgenerous on tasks made by stronger models

Figure 9: AI judges are overgenerous on tasks made by stronger models

对此最直接的解释是,模型对什么构成一个好任务缺乏判断力。这种判断力的欠缺实际上限制了模型在任务本身中的表现,因为模型只能依据自己的判断来优化。最终结果是,当它们被用作评判者时,会系统性地高估自己以及更强模型的解决方案的质量。另一种可能性是,强模型表现出某些行为,导致较弱的评判者高估其解决方案。⁠47

关于我们判断相关结果的一些注意事项:

首先,我们认为模型在这类问题上很可能未被充分激发。例如,在我们的设置和类似设置⁠48中,我们观察到模型显著未充分利用提供给它们的 token 上限和可用能力。

其次,我们确实看到当前公开的前沿模型在某些 ML 任务上展现出良好的判断力(普遍性尚不明确)。例如,我们观察到,在带有程序化评分的、持续数天到数周的 ML 评估中,模型能够击败我们的人类基线。这包括我们明确设计为新颖、且我们认为未被训练过的任务。在相关工作方面,P-Zero Research 也发现在 TasteVal 上表现强劲,TasteVal 衡量的是智能体在长达 120 小时的可验证 ML 优化任务中实验选择的计算效率。⁠49 而且这种表现似乎在与人类工作所面临的资源限制相匹配的条件下依然保持(如 TasteVal 或我们的 Budget NanoGPT 结果所示)。不过,在我们看来,模型在这些任务上展现的判断力在某种意义上可能不如人类展现的判断力那样通用。同样也可能并不存在根本性差异。

3.C AI R&D Acceleration Relevant Capabilities Trends

3.C.1 Across TH1.1 and TH2 we find that capabilities are doubling roughly every 3.6 months

在我们的 TH1.1 和 TH2 任务上,我们发现时间跨度大约每 3.61 个月(95% CI 2.08-4.94)翻一番,即 110 天,见图 10。这与此前 TH1.1 的 105 天翻番趋势相似。⁠50 在这些任务上,朴素外推将意味着模型在 2027 年 7 月达到 50% 时间跨度等于我们任务集上最长分数阈值(200 小时)的水平。

Across TH1.1 and TH2 we find that capabilities are still increasing quickly, doubling roughly every 3.6 months.
Across TH1.1 and TH2 we find that capabilities are still increasing quickly, doubling roughly every 3.6 months.

Figure 10: Across TH1.1 and TH2 we find that capabilities are still increasing quickly, doubling roughly every 3.6 months.

在附录 B:Time Horizon Diagnostics 中,当对我们的基线估计加入噪声,以及使用模型估计时间而非我们默认的时间估计时,我们看到了类似的结果。⁠51

文章标题:与 AI 研发相关的模型能力正在快速提升

正文: 当我们为任务子集分别估计趋势时,我们观察到 TH2 可验证任务的倍增时间比 TH1.1 任务更快。我们的数据有噪声,但对于 TH2(可验证),我们看到的倍增时间为 1.65 个月(95% CI 0.79 至 3.99),见图 11。这一趋势快于 TH1.1 + TH2 合并后的倍增时间。⁠52

分开计算时,TH2(可验证)上的时间跨度倍增时间似乎短于 TH1.1。
分开计算时,TH2(可验证)上的时间跨度倍增时间似乎短于 TH1.1。

图 11:分开计算时,TH2(可验证)上的时间跨度倍增时间似乎短于 TH1.1。

我们还展示了 MirrorCode 上的趋势,这是另一个可验证的任务分布。趋势拟合针对前沿模型。倍增时间 CI 通过对模型、模型家族和运行进行 bootstrap 计算得出。模型 CI 通过对模型家族和运行进行 bootstrap 计算得出。在此图中,我们展示了更广泛的模型阵列,因为不必将数据限制在我们在 TH1.1 和 TH2 上对每个(模型、任务)对都有运行的范围内。Logistic 拟合见附录 B:时间跨度诊断。

这一更快的倍增时间可以被视为 2026 年模型能力加速的证据(至少就这些任务上的时间跨度衡量而言)。然而,我们认为值得注意的是,我们已经在 2025 年下半年在 MirrorCode(另一个更简单的可验证任务分布)上观察到类似的快速倍增时间,而当时 TH1.1 仍以较慢的速度增长。

我们不确定 TH2(可验证)和 MirrorCode 上更快倍增时间的原因是什么。一种可能性是如上所述,以时间跨度衡量的能力出现了普遍加速。原则上,这种加速可能被合并集合中因切换到 TH2 而产生的人为减速所掩盖,TH2 在固定时间跨度下通常是更难的一组任务。⁠53 其他一些可能性包括:这些分布的数据覆盖日期范围更窄,或所涉及的任务具有使其更容易被快速改进的特性,或这些可能性的组合。

我们认为一种可能性是合理的:在多样性较低的任务集上,倍增时间可能倾向于更短。本质上,当一组任务彼此非常相似时,更长的任务可能并不会难太多(例如,如果它主要是更多“同一种类”的工作)。或者换一种说法,一旦模型学会了完成某类任务所需的主要技能,它们就能相对快速地完成该类任务的更长版本。然而,在一组多样的任务中,更长的任务更可能包含不同或多种不同种类的工作,因此模型总体上可能倾向于更晚才获得必要的能力。因此,相对缺乏多样性可能是导致 MirrorCode 和 TH2(可验证)倍增时间较短的一个因素。⁠54

另一种可能性是,我们在开发过程中对困难任务的选择导致 TH2(可验证)具有更短的倍增时间。然而,如果这是 TH2(可验证)倍增时间更快的主要原因,我们会有些惊讶,因为例如我们保留了在套件开发期间已经饱和的任务。

我们还注意到,OpenAI 最近发布的数据似乎暗示,在其自己的内部研究任务上使用其模型时,倍增时间为 3.8 个月,这与我们在 TH1.1 和 TH2 上发现的 3.6 个月倍增时间相似。⁠55

3.C.2 以 METR Capability Index(MCI)在我们的任务上衡量,我们并未在公开前沿模型中观察到能力的强烈加速。然而,我们确实在某些条件下看到了开发者特定趋势变化的不确定证据。

文章标题:与 AI 研发相关的模型能力正在快速提升

正文: 如果 AI 研发已经在大幅加速,我们或许会观察到模型能力随时间出现加速(即增长率的正向变化),即便能力曲线仍然呈锯齿状。以时间跨度衡量,我们看到任务上进展迅速。鉴于我们对“任务长度”⁠56 是否是衡量任务难度的良好指标以及我们的时间估计的价值存在不确定性,我们还用 MCI(一种 IRT 模型)分析了我们的数据。

当我们拟合 MCI 模型(类似于 Epoch 的 ECI 和 Anthropic 的 AECI 等指标)时,我们在所有公开的前沿模型上没有观察到明显的加速,见图 12。我们认为这一结果为我们反对模型能力整体减速提供了中等证据,为我们反对所测试的所有模型整体加速提供了弱到中等证据。

将 MCI 模型拟合到我们的数据时,我们没有看到能力随时间出现明显的加速或减速。
将 MCI 模型拟合到我们的数据时,我们没有看到能力随时间出现明显的加速或减速。

图 12:将 MCI 模型拟合到我们的数据时,我们没有看到能力随时间出现明显的加速或减速。

然而,如果我们改为按每个 AI 开发者分别校准 MCI 并拟合趋势,我们确实在某些条件下观察到一些斜率变化(即能力增长率上升)。我们发现,在我们最能复现的条件下,即截至 Opus 5.5 的公开 Anthropic 模型上,按开发者区分的 MCI 上的斜率变化与 METR 于 2026 年 10 月发布的《Anthropic AI 研发加速独立评估》以及近期 Anthropic 系统卡中呈现的斜率变化大体相当。我们对这些斜率变化的有效性不确定,因为我们发现它们对各种方法学选择相当敏感。我们在附录 H:能力增长率的变化中讨论了这些按 AI 开发者区分的斜率变化以及对方法学选择的敏感性。

请注意,当使用这类 IRT 方法来检测加速时,我们认为值得牢记该方法可能“漏掉”实际加速的一些原因。首先,随着模型能力增强,开发者可能会将公开发布延迟更久,⁠57这可能导致我们检测不到加速。其次,MCI 对最强 AI 模型的能力始终具有更大的不确定性,⁠58我们预计这会延迟我们检测实际加速的能力。

该方法也只能检测以 MCI 衡量的整体能力上的加速,而无法检测由 AI 具体导致的加速。我们不知道如果 AI 开发者没有使用 AI 来辅助研究,反事实趋势会是什么样。完全有可能的是,如果没有 AI,我们会看到减速趋势,而 AI 的使用实际上已将趋势加速到当前水平。

关于我们方法学的更多细节,见附录 C:MCI 建模方法学;关于稳健性检查,见附录 E:MCI 稳健性检查;关于我们的模型及相关 IRT 模型局限性的更多讨论,见附录 D:IRT 的局限性。

4 稳健性检查

我们对自己的评估结果做了多种稳健性检查:

为了检查我们各次运行的 token 预算是否足够大,我们考察了性能如何随 token 增加而变化。对于每个任务,我们力求设定一个性能达到平台的 token 预算,尽管这并非总能实现。更多细节见附录 I:推理扩展。

文章标题:AI R&D-relevant model capabilities are improving rapidly

正文: 我们还检查了奖励作弊(reward hack)的情况。存在奖励作弊的运行被记为零分。为此,我们人工查看了部分轨迹,并对这些运行施加了模型扫描器(有时会依据阅读该部分轨迹所得的信息,按任务给出需要查找什么的指示)。我们发现的奖励作弊大多来自接近前沿的智能体,⁠59 例如 GPT-5.6 Sol、GPT-6 Astra、Fable 5、Fable 5.1 和 Opus 5.5。更多细节见附录 G:数据完整性与奖励作弊,以及附录 G:我们发现模型仍然经常进行奖励作弊。

我们排除了分类器阻止生成、或模型自身拒绝的运行。这种情况相当罕见,在 TH2 和 TH1.1 中合计影响约 36 次运行。我们还对消极怠工(sandbagging)做了一些初步检查,更多内容见附录 G:拒绝与消极怠工。

最后,我们尝试使用“群体(swarms)”而非我们常规的脚手架。我们通常将群体运行与 best-of-k 进行比较(在这类任务上,best-of-k 通常比单次很长的串行运行表现更好)。尽管我们的数据噪声较大,但我们发现,在具有明确优化指标的任务上,群体脚手架似乎比 best-of-k 对照组提升了表现。在其他任务上,我们发现影响不明确或为负面。特别是,我们发现当任务需要模型自行构造代理指标时,大规模群体似乎对表现有害。更多细节见附录 J:群体实验。

这些结果使我们相信,由于没有使用群体,我们可能在一定程度上低估了模型在干净可验证优化任务上的表现。我们预计,在其他任务上不使用群体并不会导致低估。我们普遍发现群体运行成本非常高;我们的群体实验使用了约 \$500k 的 token。

5 讨论

随着模型能力提升,我们此前用于给风险设定上界的一些方法和评估已变得不那么有用,甚至过时。当前的公开模型在范围明确的 ML、网络和编程问题上表现已经非常强。因此,现在很难再通过指出某种易于测量且广泛存在的能力不足来限定风险。

相反,我们对模型能力所带来风险的理解,更多地依赖于与模型能力画像具体细节相关的问题,以及关于世界的事实。我们并不觉得我们目前对其中许多最重要的问题已有好的答案。例如:

  • 与更难(或成本更高)验证的任务相比,模型在更易(或成本更低)验证的任务上的能力要强多少?在我们的数据集上,我们观察到在相对生命周期成本较高的任务子集上表现较弱。然而,生命周期成本与某种“真实性”概念之间的联系仍非常不清晰,我们也不知道它与模型表现较差之间的关联是否适用于其他任务分布。
  • 模型在更难验证的任务上进步是否更慢?如果是,慢多少?在我们的数据集上,我们在相对生命周期成本高和低的两个任务子集上看到了相似的翻倍时间。然而,我们可以想象,在生命周期成本高得多的任务上,或在其他方面更真实的任务上,趋势可能会有所不同。

文章标题:与AI研发相关的模型能力正在快速提升

正文:

  • 要实现剧烈的AI研发加速,究竟需要哪些能力?在本文中,我们基本上避免就“什么是剧烈AI研发加速的必要条件和充分条件”作出断言,但这对我们来说是一个主要的不确定性来源。事实上,或许仅靠易于验证的任务,就有可能大幅加速AI研发。因此,我们认为审慎的做法是考虑这样一种可能性:在我们看到AI在许多“现实”任务上表现良好之前——而这些任务可能是实现“普通”工作自动化所必需的——AI或许就已经能够大幅加速AI研发了。至少,AI开发者们正在投入大量积极努力,让自己的AI实现自身研究的自动化⁠60,相较于AI研发的“自然”难度,我们或许可以预期这会提前带来自动化。

6 致谢

我们感谢以下任务开发者,他们帮助完成了实现、质量保证和奖励黑客(reward-hacking)检查:Drew de Wet、Gerard Boxo、Martin Milbradt、Máté Csikós-Nagy、Pablo Romero、Prakrat Agrawal、Gábor Fuisz、Miguel Brandao、Josh Engels、Lars Wagoner 和 Tomáš Turlík。我们也感谢我们的基线测试人员,他们尝试了我们设计的任务,包括 Ameya Prabhu、Anthony Armstrong、Johan Wind、Konstantin Akimov [knst] 和 Mohamed Osman。

我们感谢那些与我们分享数据集和专业知识的人。Epoch AI,尤其是 Benjamin Ou 和 Avery Yen,分享了 EBR-Bench 及其人类基线研究的数据。Emery Cooper、Linh Chi Nguyen、Alex Kastner 和 Caspar Oesterheld 分享了 LMCA 数据集,包括其留出集。Owen Cotton-Barratt 和 Lawrence Phillips 分享了 JudgmentBench。NanoGPT 竞速者 Larry Dial、Varun Srivastava 和 Deven Pietrzak 接受了我们的访谈。Tomas Rokicki 分享了他对在 Al Zimmermann's Programming Contests 中投入时间的估计。

我们感谢 Lukas Finnveden 对本文起草工作的特别密切参与,以及 Alexander Barry 就我们的 IRT 建模选择提供建议。我们感谢 Jeff Wu 和 Tao Lin 就我们的任务分布进行讨论,感谢 Francis Rhys Ward、Alex Jackson、Titus Buckworth 和 Jason Brown 就评估选择进行讨论。我们感谢 Francisco Carvalho 的任务开发工作以及基于 Elo 的能力指标的早期工作,感谢 Niels Warncke 的任务开发工作。我们也感谢以下审阅者对草稿的反馈:Alexander Barry、Parker Whitfill、Tom Cunningham、Asa Cooper-Stickland、Tao Lin、Charles Foster 和 Jean-Stanislas Denain。

我们感谢 Mischa Spiegelmock、Paarth Shah、Dmitrii Calzago、Pip Arnott、Rafael Carvalho、Jack Misbach、Brandon Qi 和 Rasmus Faber-Espensen 在整个项目期间提供的技术支持。我们感谢 Bhaskar Chaturvedi、Jingyi Wang、Kris Chari、Parv Mahajan、Rae She、Stephanie Palla、Andrew Wei 和 Wilder Seitz 提供的运营支持,以及 Charles Foster 在沟通方面的帮助。

最后,我们感谢 Nate Rush 和 Hjalmar Wijk 在项目早期阶段提供的支持。

附录

  • A难度估计与基线测试
  • B时间跨度诊断
  • CMCI 建模方法
  • DIRT 的局限性
  • EMCI 稳健性检验
  • F估计任务的生命周期成本
  • G数据完整性与奖励黑客
  • H能力增长率的变化
  • I推理扩展
  • JSwarm 实验
  • KAl Zimmermann's Programming Contests
  • L预算 NanoGPT
  • M制作 METR 任务
  • NEarthborne Rangers 与持续学习
  • O关于模型优势与局限的定性与外部证据

A 难度估计与基线测试

我们的时间跨度结果,以及控制任务长度的分析,都依赖于对一名熟练人类在任务中达到给定分数需要多长时间的估计。

对于我们原始时间跨度套件中的大多数任务,我们通过让熟练专业人员在与评估模型相同的条件下尝试相同的任务来直接测量这一点。我们将这些尝试称为人类基线。

因为我们的新任务远比原始套件中的任务困难,原先的做法不再可行。找到合格且能投入时间的人往往很困难,收集这些基线的成本也高得多,而模型的表现常常超过我们招募到的专家。

对于新套件中的任务,我们采用研究人员对达到一系列分数所需时间的估计。对于大多数任务,我们有来自人类完成相同或类似任务的证据,但通常不是在专门的、自成一体的设置中。我们为十二个任务家族中的三个运行了正式的人类基线,不过其中两个我们还依赖了其他数据来源和外推,如下所述。

本节其余部分涵盖我们正式基线的协议、我们如何招募基线人员及其结果。然后我们解释如何为每个任务生成人类时间估计。

基线协议

每位基线人员都在与 AI agent 所获完全相同的容器中工作,拥有相同的信息和资源。我们避免给基线人员超出 agent 所获之外的指导,以免人类获得不公平的优势。

基线人员被允许使用 Sonnet 5 进行实现,但我们要求他们不要依赖它做高层决策。这与 TH1 不同,在 TH1 中基线人员大多不能使用 AI。⁠61 我们允许 AI 协助的部分原因是,现在许多人在工作中使用 AI,而有些人不愿在没有 AI 的情况下做基线,因为工作会太枯燥。另一个原因是,让基线人员使用 AI 使基线收集更便宜,因为他们可以把更多时间花在需要其专业知识的困难工作上,而花在常规工作上的时间更少。我们不允许访问前沿模型,以确保人类基线仍主要由人类表现驱动。

我们还让基线人员访问互联网。

我们没有给基线人员硬性时间限制,尽管我们确实分享了任务预计耗时的粗略估计。我们也没有给他们目标分数或强表现会是什么样子的提示。在整个基线过程中,我们定期检查他们的进展,并决定是否让他们继续。

基线人员的报酬为每小时 \$200–350。我们没有为达到性能里程碑设置奖金。然而,进展检查意味着想要继续工作的基线人员有一定的动力表现良好。

下表总结了我们协议与 TH1 的对比。

TH1TH2
基线人员概况拥有约 5 年经验、通过资格任务的专业人士任务特定专家
报酬通常每小时 \$50–100,外加绩效奖金每小时 \$200–350,无奖金
AI 协助通常不允许允许用于实现(仅 Sonnet 5)
互联网通常允许允许
给出目标分数通常有无
时间限制每任务最多 8h无硬性限制,定期进展审查
我们测量什么主要是完成任务的时间达到一个或多个分数水平的时间

招募基线人员

通过这些基线,我们旨在将模型能力与 AI R&D 专家的能力进行比较,理想情况下是在前沿 AI 公司工作的人。在我们做基线的三个任务中,只有 Train a Program 直接是 AI R&D 任务。另外两个测试的是我们认为与 AI R&D 密切相关的技能。对于 Train a Program,我们旨在招募技能与 AI 公司研究人员相当的人。对于其他任务,我们寻找在相关领域具有类似专业水平的人。这使招募具有挑战性,因为这些人往往有要求高、报酬好的工作,所以他们可能太忙而无法完成基线。

以下是三个正式基线任务各自的基线人员背景:

文章标题:与 AI 研发相关的模型能力正在快速提升

正文:

  • Reverse Conway。我们为这项任务设置了两名基线人员。一位来自一个密切相关的 Kaggle 竞赛的第二名团队,另一位是从事 SAT 求解研究的博士生。
  • Minecraft Bot。我们为这项任务设置了一名基线人员,他此前有构建 Minecraft 和 League of Legends 机器人的专业经验。
  • Train a Program。我们为这项任务设置了四名基线人员。他们的背景都让我们预期他们会有出色表现,例如在编程或 AI 竞赛中名列前茅,或此前有 ML 研究经历。得分最高的基线人员曾是 Codeforces 的国际特级大师,也是 2020 年 Kaggle ARC-AGI 竞赛的冠军。

总体而言,我们初步猜测,我们最好的基线人员在这些任务上的表现会优于一家前沿 AI 公司的典型技术员工(因为他们拥有更相关的专业知识),但他们的表现可能会逊于一位在自己研究领域内的典型前沿 AI 研究员。

基线结果

在我们正式设置基线的全部三项任务上,最佳模型的表现都超过了每一位人类基线人员。

公开的前沿模型在我们设置基线的三项任务上超过了每一位人类基线人员
公开的前沿模型在我们设置基线的三项任务上超过了每一位人类基线人员

图 13:在我们设置基线的三项任务上,公开的前沿模型超过了每一位人类基线人员

话虽如此,我们认为我们的任务在某些方面对人为地不友好于人类,这种方式并不反映在更自然的环境中从事这类工作的实际情况。这可能导致了人类表现不及模型,因为模型总体上很适应容器化任务环境。一个例子是,在某些任务上,对设置或评分的错误假设可能使基线人员得到差得多的分数,即使他们底层的工作在其他方面是好的。这似乎对模型来说问题较小,很可能是因为大量 RL 训练使它们非常擅长避免对这类任务环境做出错误假设。在未来的研究中,我们认为或许值得在人类进行任务的过程中给予他们一定量的反馈。

尽管模型在这三项任务上的表现都超过了我们的基线人员,但在一些未纳入最终 TH2 套件的任务上,人类表现更好。在两项社交推理游戏任务上,人类得分高于或等同于模型。在 Sunlight 这项人工评分的任务中,模型设计室内布置以重现阳光,并撰写关于其光学特性的报告,我们认为大多数人会更偏好人类撰写的报告,尽管智能体的提交在其他方面更好。⁠62

我们如何得出分析中使用的人类时间估计

对于每项任务,我们的研究人员估计了一位具备相关领域技能、可以使用 Sonnet 5 的人类需要多长时间才能达到每个分数。下表显示了我们对每项任务的估计来源。

任务集任务族(* = 尤其推测性的估计)支撑我们难度估计的证据
TH2 可验证AZsPCs与一位顶尖参赛者的邮件往来。来自人类参赛者的公开数据。
Budget NanoGPT公开的 modded-nanogpt 纪录历史。与多位纪录作者的访谈。来自 METR 的 Expenditure Horizon 文章的工作量估计。
Minecraft Bot*一个公开解决方案的 GitHub 提交历史,该方案与我们的任务设置大致相当。一个正式的人类基线(更多背景见下文)。
Reverse Conway两个正式的人类基线。
Train a Program*四个正式的人类基线。两名基线参与者分别在 1–3 小时后停止,且只有一人得分高于零(但仍低于智能体)。一名 METR 员工的一个非正式基线(更多背景见下文)。
Earthborne RangersEpoch 对 13 人游玩该游戏文本版的研究,该版本与我们的版本略有不同。
Slay the Spire来自 Slay the Spire 主播(Xecnar、Baalorlord 和 TerrenceM)的公开对局历史。
Dominion-like Game一个非正式基线。来自经验丰富玩家的公开排行榜分数。
TH2 难以验证与判断Making METR Tasks*多个非正式的 2 小时基线。METR 员工在日常工作中制作任务的经验。
Investigate Wiki Incident*两名 METR 研究人员基于参考解决方案的时间估计。
LMCALMCA 数据集的主要专家评分员对一次平均评分所需时间的估计。
Judge RunMETR 员工在手动为智能体被要求评判的同一批对局打分时记录的时间。

与一位顶尖参赛者的邮件往来。

来自人类参赛者的公开数据。

公开的 modded-nanogpt 纪录历史。

与多位纪录作者的访谈。

来自 METR 的 Expenditure Horizon 文章的工作量估计。

一个公开解决方案的 GitHub 提交历史,该方案与我们的任务设置大致相当。

一个正式的人类基线(更多背景见下文)。

四个正式的人类基线。两名基线参与者分别在 1–3 小时后停止,且只有一人得分高于零(但仍低于智能体)。

一名 METR 员工的一个非正式基线(更多背景见下文)。

一个非正式基线。

来自经验丰富玩家的公开排行榜分数。

多个非正式的 2 小时基线。

METR 员工在日常工作中制作任务的经验。

对于某些任务,我们希望得到的难度估计所对应的分数,高于我们所依赖的数据中任何人类达到过的分数。在这些情况下,我们通过估计人类达到这些分数还需要多少时间来外推。

对于 Train a Program 和 Minecraft Bot,我们假设的人类表现强于仅凭正式基线数据所能表明的水平。我们做出这一主观决定,是因为我们认为每个领域中最顶尖的专家很可能比我们的基线参与者达到更高的分数,并且如上所述,这些任务在某些方面对人工而言人为地不友好。⁠63 具体来说:

  • Train a Program。我们的估计基于一名 METR 员工的非正式基线,该员工在大约 10 小时内得分 0.21,并假设其会以类似速度继续提升而进行了外推。此基线无法与外部基线直接比较,因为该员工对任务有一定先验知识,包括测试分布,并且使用的是 Fable 5 而非 Sonnet 5,不过主要用于实现而非构思。即便如此,我们仍选择以其为估计依据而非外部基线,因为该员工认为,即使没有这些优势,他们也能取得类似的成绩,并且如果有更多时间还会继续提升。相比之下,我们最好的外部基线参与者在 45 小时后得分为 0.042,预计即使多给 3-10 倍时间也只能提升约 2 倍,这仍将远低于最好的模型。
  • Minecraft Bot。我们的估计基于 AltoClef,这是一个公开的机器人,在 2021 年通关了该游戏。我们使用其提交历史中的时间戳,来估计其作者在机器人首次达到我们任务的每个检查点时已经工作了多少小时。我们的外部基线模型达到第一个检查点的时间与 AltoClef 的作者大致相同(约 5.5 小时)。此后,其评分仅略有提升,在 160 小时后达到 0.055。我们的估计假设顶级专家能够以与 AltoClef 作者相似的速度继续推进。

总体而言,我们认为这些估计相当具有推测性。然而,当我们测试时间跨度趋势对这些估计变化的敏感性时,我们发现这些趋势相当稳健,见附录 B:时间跨度诊断。

B 时间跨度诊断

在本附录中,我们展示时间跨度计算的诊断图表和稳健性检查。

各任务平均得分

在下图中,我们试图直观地展示智能体在我们的时间跨度任务套件中相对于人类得分-时间点的表现。每一行代表我们新套件中的一个任务,处于由人类(得分,时间)点定义的特定得分阈值。每个单元格是模型在该任务上的平均得分,颜色表示其与得分阈值的距离,红色表示表现低于该行的人类得分,绿色表示表现高于该行的人类得分。

各任务平均智能体得分
各任务平均智能体得分

图 14:各任务平均智能体得分

每个单元格是模型在该任务上的平均得分。每一行是一个人类(得分,时间)点,颜色表示模型的平均得分高于或低于该人类得分的程度。任务按家族分组,并按 IRT 难度排序。

我们时间跨度估计的逻辑斯蒂拟合

在本文全文中,我们在各种任务分布及任务分布组合上使用时间跨度方法。在此,我们展示成功率及其逻辑斯蒂拟合:

成功率与逻辑斯蒂拟合:TH1.1 + TH2 可验证任务
成功率与逻辑斯蒂拟合:TH1.1 + TH2 可验证任务

图 15:成功率与逻辑斯蒂拟合:TH1.1 + TH2 可验证任务

每个点是来自 TH1.1 或 TH2 可验证任务的一个人类(得分,时间)点,位于模型运行达到该点的比例处,颜色表示该比例。

成功率与逻辑斯蒂拟合:TH1.1 + TH2 中相对成本较低的任务
成功率与逻辑斯蒂拟合:TH1.1 + TH2 中相对成本较低的任务

图 16:成功率与逻辑斯蒂拟合:TH1.1 + TH2 中相对成本较低的任务

在控制任务时间后(对人类而言)生命周期成本较低的任务。

成功率与逻辑斯蒂拟合:TH1.1 + TH2 中相对成本较高的任务
成功率与逻辑斯蒂拟合:TH1.1 + TH2 中相对成本较高的任务

图 17:成功率与逻辑斯蒂拟合:TH1.1 + TH2 中相对成本较高的任务

在控制任务时间后(对人类而言)生命周期成本较高的任务。

成功率与逻辑斯蒂拟合:TH1.1 任务
成功率与逻辑斯蒂拟合:TH1.1 任务

图 18:成功率与逻辑斯蒂拟合:TH1.1 任务

展示的每个模型都运行过的任务。

成功率与逻辑斯蒂拟合:MirrorCode 任务
成功率与逻辑斯蒂拟合:MirrorCode 任务

图 19:成功率与逻辑斯蒂拟合:MirrorCode 任务

展示的每个模型都运行过的任务。

成功率与逻辑斯蒂拟合:TH2 可验证任务
成功率与逻辑斯蒂拟合:TH2 可验证任务

图 20:成功率与逻辑斯蒂拟合:TH2 可验证任务

展示的每个模型都运行过的任务。纳入短 TH1.1 任务(10 分钟以下)以帮助约束拟合。

时间估计的稳健性检查

AI 研发相关模型能力正在快速提升

在本节中,我们检验当改变对人工完成时间的估计时,我们的结果有多稳健。

为了测试我们的趋势在多大程度上依赖于确切的任务时间估计,我们在将每个任务的时间乘以随机噪声后重新拟合每个趋势。我们发现倍增时间与原始值保持接近。即使对于 TH2 也是如此,我们在其中加入了最多的噪声,因为任务时间主要基于研究人员的估计而非人类基线。

倍增时间对加噪时间估计的稳健性
倍增时间对加噪时间估计的稳健性

图 21:倍增时间对加噪时间估计的稳健性

我们对每个 bootstrap 抽样拟合两次,一次使用我们的任务时间,一次对每个任务时间加噪。同一任务族中的任务获得相同的噪声。对于 TH1.1 任务,噪声大小来自原始时间跨度论文,且对于拥有更多人类基线的任务更小。对于 TH2 和 MirrorCode 任务,68% 的加噪时间落在我们估计值的 0.25 倍到 4 倍范围内。没有有效趋势的抽样会被丢弃。

在这项检查中,我们使用模型对人工完成时间的估计,而非来自人类基线和公开证据外推的估计,重新生成我们主要的 TH 趋势图。

我们发现,模型对人工完成时间的估计与我们从人类基线和人工估计中得出的估计相似(见附录 A:难度估计与基线化)。主要差异来自对 MirrorCode 任务的人工完成时间估计。

模型估计与人工任务时间(针对人类)
模型估计与人工任务时间(针对人类)

图 22:模型估计与人工任务时间(针对人类)

因此,我们在趋势图上总体发现相似的趋势:

TH1.1 和 TH2 时间跨度趋势,使用人工与模型估计的任务时间
TH1.1 和 TH2 时间跨度趋势,使用人工与模型估计的任务时间

图 23:TH1.1 和 TH2 时间跨度趋势,使用人工与模型估计的任务时间

左:来自我们人类基线和估计的任务时间。右:每个任务的时间是模型对通过分数阈值所需人类时间的估计。趋势拟合于前沿模型。倍增时间置信区间通过跨模型、任务族和运行进行 bootstrap 计算。模型置信区间通过跨任务族和运行进行 bootstrap 计算。

按任务集划分的时间跨度趋势,使用人工与模型估计的任务时间
按任务集划分的时间跨度趋势,使用人工与模型估计的任务时间

图 24:按任务集划分的时间跨度趋势,使用人工与模型估计的任务时间

左:来自我们人类基线和估计的任务时间。右:每个任务的时间是模型对通过分数阈值所需人类时间的估计。TH2 不包含许多短任务,因此为了约束其逻辑拟合,我们在本图中将短(<10m)TH1.1 任务加入 TH2。我们还展示了 MirrorCode——另一个可验证任务分布——上的趋势。趋势拟合于前沿模型。倍增时间置信区间通过跨模型、任务族和运行进行 bootstrap 计算。模型置信区间通过跨任务族和运行进行 bootstrap 计算。

在这项稳健性检查中,我们针对我们认为可能存在系统性低估时长的情形,更改了时间估计。

我们对此做了两个变体:

  • 对于超出我们最佳基线者的(分数,时间)点,将 Train a Program 的时间估计提高 4.8-12.5 倍,将 Minecraft Bot 的时间估计提高 2-4 倍。
  • 将所有分数高于 0.5 的 TH2(分数,时间)点的时间估计提高 4 倍。
替代时间估计下的 TH1.1 和 TH2 时间跨度趋势
替代时间估计下的 TH1.1 和 TH2 时间跨度趋势

图 25:替代时间估计下的 TH1.1 和 TH2 时间跨度趋势

反直觉的是,这些替代估计会缩短近期模型的时间跨度估计值及其置信区间。我们认为这是因为当时间轴上远端的数据点很少时,logistic 拟合几乎没有信息来判断它应该在何时下降到低值。这种情况下,logistic 拟合会变得平缓,从而推长点估计并扩大置信区间。⁠64 因此,将一些失败点沿 x 轴向外移动(正如增大这些时间估计所做的那样)实际上可能使 logistic 拟合变得更陡峭。⁠65

TH1.1 和 TH2 在替代时间估计下的 logistic 拟合
TH1.1 和 TH2 在替代时间估计下的 logistic 拟合

图 26:TH1.1 和 TH2 在替代时间估计下的 logistic 拟合

每个面板仅改变分数阈值对应的人类时间估计后,对相同运行重新进行拟合。

合并 TH1.1 + TH2 50% 时间跨度(95% CI)标准估计修改后的 Train a Program 和 Minecraft Bot 估计所有分数高于 0.5 的 TH2 估计延长 4 倍
GPT-6 Astra40 h (13–2645)29 h (14–946)32 h (13–120)
Opus 5.539 h (12–1253)30 h (13–450)29 h (12–111)

各模型之间的偏移足够相似,因此对 TH2 可验证趋势的影响极小。

替代时间估计下各任务集的时间跨度趋势
替代时间估计下各任务集的时间跨度趋势

图 27:替代时间估计下各任务集的时间跨度趋势

每个面板仅改变分数阈值对应的人类时间估计后,对相同运行重新进行拟合。TH2 不包含很多短任务,因此为了约束其 logistic 拟合,我们在本图中将短(<10m)的 TH1.1 任务加入 TH2。我们还展示了 MirrorCode(另一个可验证任务分布)上的趋势。趋势拟合针对前沿模型。倍增时间置信区间通过对模型、家族和运行进行 bootstrap 计算。模型置信区间通过对家族和运行进行 bootstrap 计算。

80% 时间跨度

在本图中,我们展示的是 80% 时间跨度,而非 50% 时间跨度。

分开来看,TH2(可验证)上的 80% 时间跨度倍增时间似乎比 TH1.1 上更短。
分开来看,TH2(可验证)上的 80% 时间跨度倍增时间似乎比 TH1.1 上更短。

图 28:分开来看,TH2(可验证)上的 80% 时间跨度倍增时间似乎比 TH1.1 上更短。

我们还展示了 MirrorCode(另一个可验证任务分布)上的趋势。趋势拟合针对前沿模型。倍增时间置信区间通过对模型、家族和运行进行 bootstrap 计算。模型置信区间通过对家族和运行进行 bootstrap 计算。

C MCI 建模方法

我们提出 METR Capability Index(MCI)的目标是沿单一轴估计 AI 能力和任务难度,思路类似于 ECI 和 AECI。为此,Item Response Theory 有几个优点,包括允许我们仅在问题子集上评估 agent、考虑任务难度和区分度的差异,以及量化能力估计中的不确定性。

数据

首先,我们需要构建一个数据集,记录 agent 在各种任务上的表现。这在一定程度上变得复杂,因为我们有大量密切相关的任务,而且有时对给定任务有多次 agent 尝试。因此,我们将数据概念化为层次结构,每一层数据在我们的 IRT 模型中服务于不同目的:

  • families:这些是相关任务的组。例如,我们有 AZsPCs 家族,其中任务是各个竞赛。我们的数据有 113 个家族。
  • tasks:这些是 agent 可能追求的具有目标的个体活动。我们的数据有 333⁠66 个任务,意味着平均每个家族 2.9 个任务。
  • runs:我们经常在任务上多次评估一个 agent。一次运行是 agent 执行任务的独立实例。我们的数据有 38,180 条已评分的运行级观测,意味着每个被评估的 agent-task 对平均约 4.7 条观测。

文章标题:与 AI 研发相关的模型能力正在快速提升

正文: 分析的基本单位是任务,但我们使用 run 来更精确地估计智能体在给定任务上的表现,并使用 family 对非常相似的任务进行降权。

基础 IRT 模型

对于我们的每个任务,我们定义一个 [0,1] 区间内的量表,其中 0 对应失败,1 对应满分⁠67,并对智能体 \(m\) 在任务 \(t\) 上获得的分数拟合一个双参数 logistic 模型⁠:

\[p_{mt}=\sigma (\alpha_{t}(\theta_{m}-\beta_{t})),\quad \sigma (x)=\frac{1}{1+e^{-x}}\]

其中 \(p_{mt}\) 是智能体 \(m\) 在任务 \(t\) 上的预期得分⁠,\(\alpha_{t}\) 是任务区分度,\(\beta_{t}\) 是任务难度,\(\theta_{m}\) 是智能体能力。

任务难度 \(\beta_{t}\)⁠ 与智能体能力 \(\theta_{m}\)⁠ 之间的差值为 0 时,预测该智能体在该任务上的得分为 0.5。斜率参数 \(\alpha_{t}\) 对应给定任务能在多大程度上区分两种智能体能力,即智能体能力 \(\theta_{m}\) 每增加一个单位,预测对数得分几率增加 \(\alpha_{t}\) 个单位。

由于我们的任务套件非常多样,我们希望降低那些观测数据与模型拟合不佳的“噪声”任务的权重。因此,我们为每个任务拟合一个噪声参数,称为离散度(\(\varphi_{t}\)⁠),它是 run 级偏差(\(d_{mtr}\)⁠)的函数:

\[\varphi_{t}=\frac{\sum_{m,r}d_{mtr}}{N_{t}-2},\quad d_{mtr}=2[y_{mtr}\log \frac{y_{mtr}}{p_{mt}}+(1-y_{mtr})\log \frac{1-y_{mtr}}{1-p_{mt}}]\]

其中 \(y_{mtr}\) 是智能体在任务上某次 run 的观测得分。在数学上,离散度大约等于拟合曲线与观测曲线之间对数似然差的平均值。直观地说,离散度衡量的是单次 run 结果偏离拟合曲线预测值的程度。偏离越大,意味着我们认为该任务的噪声越大,给予的权重越小。

为了拟合我们的双参数 logistic 模型,我们最大化分数-logit 对数似然。为了反映数据的某些特征,我们对拟合引入了几项调整:

  • 对噪声任务降权。我们乘以 \(1/\varphi_{t}\)⁠,即任务离散度参数的倒数,以降低噪声任务的权重。
  • 基于 run 数量的部分降权。我们希望一个任务有更多 run 以反映对该任务更高的置信度,同时不完全低估只有少量 run 的任务。因此,我们应用 \(w_{mt}=1/\sqrt{n_{mt}}\)⁠,其中 \(n_{mt}\) 是被评估的智能体-任务对的有分 run 数量。
  • 基于 family 大小的部分降权。由于 family 通常包含相似的任务,并且我们希望模型对在给定 family 内添加大量任务具有鲁棒性,我们添加 family 级降权 \(f_{t}=1/\sqrt{q_{t}}\)⁠,其中 \(q_{t}\) 是任务 \(t\) 所属 family 中已拟合任务的数量。

此外,为了帮助模型拟合,我们为任务区分度和难度添加先验。具体来说,我们的基础先验是:

\[\log \alpha_{t}\mid \mu \sim N(\mu ,3^{2}),\quad \beta_{t}\sim N(0,{10}^{2})\]

我们按 \(f_{t}c_{t}\)⁠ 缩放每个任务的先验惩罚,其中 \(c_{t}=\frac{\sum_{m}\sqrt{n_{mt}}}{\sum_{m}n_{mt}}\)⁠,即平均 run 权重。我们将 \(\mu\) 拟合为加权平均对数区分度,\(\frac{\sum_{t}f_{t}c_{t}\log \alpha_{t}}{\sum_{t}f_{t}c_{t}}\)⁠。

因此,我们的完整目标函数变为:

\[\max_{\theta ,\alpha ,\beta }\quad \sum_{t}\frac{f_{t}}{\varphi_{t}}\sum_{m,r}w_{mt}[y_{mtr}\log p_{mt}+(1-y_{mtr})\log (1-p_{mt})]-\sum_{t}f_{t}c_{t}[\frac{(\log \alpha_{t}-\mu )^{2}}{2\cdot 3^{2}}+\frac{\beta_{t}^{2}}{2\cdot {10}^{2}}]\]

文章标题:与 AI 研发相关的模型能力正在快速提升

正文: 离散度 \(\varphi_{t}\) 不属于这个最大化过程;我们使用 double GLM,它允许参数拥有自己的噪声参数。具体来说,我们在固定 \(\varphi_{t}\) 进行拟合与从拟合曲线重新估计 \(\varphi_{t}\) 之间交替,直到所有参数不再变化。离散度 \(\varphi_{t}\) 由未加权的运行偏差估计;族权重和运行权重都不参与其更新。

我们通过设置两个锚点模型来建立能力轴和任务难度轴的刻度:GPT-4o 位于 -1,Opus 4.6 位于 0,并重新缩放该轴,使 GPT-4o 位于 0,且能力上的一单位变化等于 633,即每个模型发布之间相隔的天数。

为了生成我们的置信区间,我们对族和运行进行分层 bootstrap。族的每个抽样副本在每个模型–任务对内独立重采样。我们对整个任务族进行重采样,因为相关任务可能提供关于模型能力的重叠证据。对运行进行重采样则捕捉重复评估之间的变异。

与 ECI 的差异

我们的分析在思路上与 Epoch 的 ECI 相似,但确实有一些值得注意的差异,包括:

差异来源在我们的模型中的体现
我们进行基于任务的分析,而 ECI 进行基于基准的分析。我们预计我们的任务在可靠性上的差异会比基准更大,因为基准会聚合许多问题或任务。因此,我们使用离散度参数对那些观测数据与模型拟合不佳的“噪声”任务进行降权。
我们有运行级数据,每次运行都作为自己的观测进入拟合。ECI 为每个模型–基准对拟合一个分数。我们希望拟合能够考虑每个观测平均值有多少证据支持。因此,我们让任务上的额外运行计入更多数据。具体来说,一个模型–任务对的权重随其运行次数增长,而运行间变异会贡献到任务的离散度参数和 bootstrap 中。
我们的任务具有族结构,而 ECI 没有。我们根据族大小对任务降权,以免某些族主导分析。我们使用对任务族和运行的分层 bootstrap 来估计不确定性,而 ECI 报告后验可信区间。

我们希望拟合能够考虑每个观测平均值有多少证据支持。因此,我们让任务上的额外运行计入更多数据。

具体来说,一个模型–任务对的权重随其运行次数增长,而运行间变异会贡献到任务的离散度参数和 bootstrap 中。

我们根据族大小对任务降权,以免某些族主导分析。

我们使用对任务族和运行的分层 bootstrap 来估计不确定性,而 ECI 报告后验可信区间。

D IRT 的局限性

IRT 提供了一种有用的方式来总结模型性能,但由此得到的能力估计和趋势应在若干注意事项下解读:

  • 能力轴反映的是模型在各任务上强弱项的模式,而不是人类的模式。换句话说,这张图不能与原始的时间跨度图互换——该轴上的线性趋势不一定对应模型能完成的任务所需人类时间的线性增长。

文章标题:与 AI 研发相关的模型能力正在快速提升

正文:

  • 我们认为 IRT 方法很可能是一个滞后指标。当能力最强的模型能够稳定完成那些可以区分较弱模型的任务时,可用于估计其能力优势大小的有效比较可能所剩无几。若不进行正则化,这会导致其估计能力的置信区间变宽,从而难以将加速与统计不确定性区分开来。因此,显著的能力提升可能只有在事后、当更多模型或更难的任务提供更多有效比较时才会变得清晰。
  • 这些趋势并未考虑内部模型。内部模型有可能远远超出当前的前沿水平。
  • 结果可能对 IRT 建模决策敏感。为应对这一点,我们进行了多种稳健性检验,总体上发现了相似的趋势(见附录 E:MCI 稳健性检验中的 IRT 稳健性检验)。我们还有意不为 IRT 能力设定任何先验,因为先验可能会人为地压低置信区间。
  • 如果不同能力的提升速度不同,任务构成的变化也可能影响趋势。此处的任务分布也可能无法反映前沿实验室能力提升或 AI 风险场景所必需的最重要能力。我们未发现性能存在任何多维性(见附录 E:MCI 稳健性检验中的 IRT 稳健性检验)。然而,这些检验无法证明我们的任务套件涵盖了与 AI 研发或 AI 风险相关的所有能力。
  • 识别加速是良好任务设计的产物。脱离人类基线的一个后果是,对于某些任务,我们不再能确定最高可能得分是否可达。这使得衡量进展更加困难,因为模型可能接近一个未知的性能上限,从而显得提升更慢,即便其得分远低于任务开发者设定的最佳可能性能线。我们认为这迄今为止尚未显著影响我们的任务,但未来可能成为一个更大的问题。

E MCI 稳健性检验

在本节中,我们评估 IRT 模型的拟合情况,检验我们的发现对建模选择的敏感程度,并考察我们的能力估计所捕捉的内容。

模型对数据的描述程度如何?

  • 检查残差图是否存在异常模式。
  • 检查数据是否支持单一能力维度。

我们的发现对建模选择的敏感程度如何?

  • 改变先验的强度。
  • 使用最小二乘目标而非最大化 fractional-logit 对数似然。
  • 改变锚点的选择。
  • 移除降权处理。
  • 改变链接函数。

我们的能力估计捕捉了什么?

  • 检验若加速发生在我们的任务套件上,我们的分析能否检测到它。
  • 将我们的能力估计与 ECI 估计进行比较。
  • 对我们的 IRT 能力估计拟合一条 linked-linear 直线(见附录 H)。

总体而言,我们发现当前的假设是合理的,且大多数建模选择不会导致我们的能力估计发生大的变化。

残差

首先,我们检查残差,这也兼作对我们选择 logit 链接函数的检验。以下图表比较了预测得分与实际得分,以诊断 logit 链接函数是否是一个好的选择。我们发现该链接函数确实很好地拟合了我们的数据,无论对于连续评分的任务还是二元任务均是如此。

连续评分任务上的 IRT 残差
连续评分任务上的 IRT 残差

图 29:连续评分任务上的 IRT 残差

每个点是一个模型–任务对。对于有多次运行的模型–任务对,y 值为该对多次运行的平均得分。

通过/失败任务上的 IRT 残差
通过/失败任务上的 IRT 残差

图 30:通过/失败任务上的 IRT 残差

文章标题:AI 研发相关模型能力正在快速提升

正文: 每个点是一个模型–任务对。对于有多次运行的模型–任务对,y 值是该对中成功运行的占比。

多维性检查

在我们的主分析中,我们假设能力是一维的。在这项稳健性检查中,我们尝试用超过一个维度来拟合模型,以检验这一假设是否合理。我们采用标准的多维 2PL 模型:

\[p_{mt}=\sigma (\alpha_{t}(\theta_{m}-\beta_{t})+\sum_{k=1}^{K} {}\lambda_{tk}\psi_{mk}),\quad \sigma (x)=\frac{1}{1+e^{-x}}\]

其中 \(K\) 是额外维度的数量,\(\psi_{mk}\) 是模型 \(m\) 在额外能力维度 \(k\) 上的得分,\(\lambda_{tk}\) 是任务 \(t\) 在 \(\theta_{m}\) 之外依赖这一额外能力维度的程度。

我们发现,在我们的数据中能力是一维的。第一,模型之间的几乎所有差异都沿一个能力轴分布。第二,根据 BIC,一维能力模型拟合得更好。

表 2. 跨额外维度的 BIC 结果

Extra dimensionsExtra parametersBIC difference (bigger is worse)
+1+366+2,268
+2+731+4,840

我们可以直观地比较我们的二维能力模型,发现模型之间的差异主要沿我们的主 \(\theta_{m}\) 轴分布。

图 31:模型之间的几乎所有差异都沿一个能力轴分布

惩罚项的强度

我们对 \(\alpha_{t}\) 和 \(\beta_{t}\) 加入了先验惩罚:

\[\log \alpha_{t}\mid \mu \sim N(\mu ,3^{2}),\quad \beta_{t}\sim N(0,{10}^{2})\]

\(\alpha_{t}\) 惩罚会惩罚对数区分度与套件中对数区分度平均值相差很远的人物;\(\beta_{t}\) 惩罚会惩罚难度与 Opus 4.6 有 50% 成功概率的水平相差很远的任务。两个先验都相当弱,尤其是任务难度先验。对数区分度先验必然要稍强一些,以帮助我们的 CI bootstrap 收敛。

我们发现,改变先验惩罚的强度对结果影响很小。

图 32:对难度先验 SD 的稳健性(基线 10)

图 33:对对数区分度先验 SD 的稳健性(基线 3)

最小二乘

在我们的主分析中,为了拟合我们的二参数 logistic,我们最大化 fractional-logit 对数似然。我们这样做是因为与最小二乘相比,fractional-logit 对接近 0 或 1 的给定预测误差赋予更大权重。这更好地符合我们的噪声结构,因为我们认为接近 0 或 1 的小幅得分变化可能代表有意义的能力差异,而最小二乘对此赋予的权重很小。

然而,在这项稳健性检查中,我们尝试最小化最小二乘目标函数。这涉及一个任务离散度,形式如下:

\[\varphi_{t}=\frac{\sum_{m,r}d_{mtr}}{N_{t}-2},\quad d_{mtr}=2(y_{mtr}-p_{mt})^{2}\]

以及一个完整的目标函数,形式如下:

\[\max_{\theta ,\alpha ,\beta }\quad -\sum_{t}\frac{f_{t}}{\varphi_{t}}\sum_{m,r}w_{mt}(y_{mtr}-p_{mt})^{2}-\sum_{t}f_{t}c_{t}[\frac{(\log \alpha_{t}-\mu )^{2}}{2\cdot 3^{2}}+\frac{\beta_{t}^{2}}{2\cdot {10}^{2}}]\]

我们发现,改用最小二乘目标函数对点估计影响很小。它确实略微提高了 2025 年之前模型的能力得分,并显著加宽了它们的置信区间。

图 34:对不同目标函数的稳健性

对锚点的敏感性

在我们的主分析中,我们选择 GPT-4o 和 Opus 4.6 分别将我们的能力轴锚定在 -1 和 0(在图表显示的 MCI 刻度上为 0 和 633)。我们使用锚点模型是因为否则我们的轴会欠定;能力、任务难度和任务区分度的不同组合会给出相同的预测得分。我们特别选择这两个锚点模型,以在我们的套件中获得覆盖:它们都已在我们的许多 TH1、TH1.1 和 TH2 任务上被评估过。

文章标题:AI R&D-relevant model capabilities are improving rapidly

正文: 在这项稳健性检验中,我们考察选择两个不同的锚定模型是否会改变我们的结果。

我们发现,锚定模型的选择对点估计的影响非常小。然而,正如预期的那样,距离锚定模型较远的模型的置信区间通常会变大;如果所选择的两个锚定模型在我们的评测套件上覆盖不够好,这一点尤其明显(例如,Opus 4.5 和 GPT-5.4 在 TH1 和 TH1.1 套件上被评估得不多,因此用它们作为锚定模型会导致那些仅在这些套件上被评估过的模型的置信区间更大)。

图 35:对锚定模型的稳健性

移除降权

在我们的任务中,我们使用离散度参数对有噪声的任务进行降权,按任务家族归属(作为任务相似性的代理)对任务进行部分降权,并根据任务运行的次数对任务进行部分升权。

每种加权方案都是为了处理我们特定的数据结构。例如,如果我们不按任务家族归属对任务降权,某些类别的任务(例如 Slay the Spire 和 Al Zimmermann 竞赛)可能会贡献不成比例的信息量,从而过度约束能力估计。恰巧这些家族提供的信息与其他所有信息一致,但加权是一种有原则的方式来限制对特定家族的依赖。请注意,这里存在一个连续谱;我们可以将单个任务视为观测单位,这相当于“没有加权”,或者我们可以将整个家族单元视为观测单位,这在概念上等同于按 1/(家族中任务数量)对每个任务加权。我们采取的是折中方案,即按 1/sqrt(家族中任务数量)对每个任务加权。类似的逻辑适用于基于运行次数的加权。我们认为,鉴于我们的数据结构,这些都是合理的选择,但确实使我们的模型变得复杂。

在这项稳健性检验中,我们考察如果移除所有此类加权,结果会如何变化。我们发现点估计变化不大。

图 36:对移除加权的稳健性

链接函数

在我们的主分析中,我们使用 logit 链接,它通过逻辑曲线将模型相对于任务难度的能力映射为期望得分。Logit 是 IRT 的标准选择。

在这项稳健性检验中,我们尝试了另外四种链接函数,它们各自改变曲线形状的不同部分:probit、cauchit、互补对数-对数(complementary log-log)和对数-对数(log-log)。

我们发现,改变链接函数确实会导致点估计出现非常轻微的变化。无论如何,我们认为我们的选择是合理的,因为 logit 链接函数简单、标准,并且很适合我们的数据。此外,点估计的变化不会改变我们的任何结论。

图 37:对链接函数的稳健性

加速检测

一个担忧是,我们的模型可能会以某种方式人为地约束点估计,使其无法显示出加速。这项稳健性检验表明,如果模型表现非常好,我们的模型可以显示出加速趋势。我们通过将得分几率乘以某个因子来实现这一点,使其保持在 0 和 1 之间。

我们发现,当我们合成性地提高得分时,我们的模型能够支持模型的“离群”表现。然而,这并不能表明我们的任务设计必然允许这种趋势,因为我们并不完全确信,在没有人类基线的情况下,我们的一些任务能够达到 100%。

图 38:对注入加速的稳健性

与 ECI 的比较

文章标题:与 AI 研发相关的模型能力正在快速提升

正文: 我们将自己的能力估计值与 Epoch 的 ECI 进行比较,后者是最知名的类 IRT 模型之一,它将 AI 智能体置于单一的“通用能力”尺度上。以下图表仅保留同时出现在我们两项分析中的模型,不过每组点估计值都来自对该分析全部模型集合的拟合。我们允许在 ECI 能力轴与 IRT 能力轴之间进行线性变换,以便比较不同能力尺度上的趋势。具体而言,我们尝试了两种不同的重新缩放方式:

  • 对所有模型能力分数进行线性重新缩放拟合。在两项分析中,用一条直线拟合所有模型。这给出了两个尺度之间最接近的整体匹配,并展示了它们在整个时期内的吻合程度。然而,这种方法的一个局限是,近期模型会影响直线的选择。如果两个尺度在近期出现了偏离,拟合会通过倾斜直线来吸收部分偏离,从而将差距分散到早期和晚期模型上。
  • 仅对 2025 年 10 月之前发布的模型进行线性重新缩放拟合。用较早的模型拟合直线,然后不加改动地应用于较晚的模型。这检验了 2025 年 10 月之前成立的两个尺度之间的关系,对于更近期的模型是否仍然延续。然而,由于线性重新缩放使用的模型数据点较少,拟合斜率上的任何误差都会随着直线延伸得越远而放大。

尽管在附录 C:MCI 建模方法中记录了许多建模选择和数据结构的差异,我们发现 ECI 与我们的模型在模型能力趋势上非常相似。然而,我们也发现,当我们仅对 2025 年 10 月之前发布的模型重新缩放 ECI 能力轴时,与我们的模型相比,近期前沿模型在 ECI 中的能力分数略高。这种分歧的确切原因尚不清楚,但附录 H:能力增长率的变化讨论了一些可能相关的建模和数据考量。

图 39:MCI 与 ECI

F 估算任务的生命周期成本

我们将生命周期成本定义为开发一个任务,然后运行并评分 100 次的估计成本。我们使用了一个 LLM-Judge(Opus 5.5),根据任务的说明、README、元数据和相关源文件,以及如下所示的提示词,来估算生命周期成本。

通过迭代过程,我们通过调整流程和提示词,将模型生成的估计值大致校准到我们自己对于约 10 个来自不同领域和成本范围的任务的估计值。

我们发现模型通常不擅长估算任务的总生命周期成本,但当提供分解结构时表现更好。我们还发现,让模型在可能的情况下估算时间,并通过程序化方式将其转换为成本(考虑人工费率、AI 提升等因素)效果更好。我们在下面更详细地描述我们的方法:

  • 分解成本。模型估算在四个阶段开发任务所需的小时数:初始实现、测试运行与改进、质量保证,以及难度估算(包括人类基线)。我们按每小时 \$150 的人工费率将小时数转换为成本。
  • 考虑 AI 提升。我们将每个阶段的成本除以我们自己使用 AI 制作任务经验中的大致加速倍数:初始实现 4 倍,测试运行与改进 2 倍,质量保证 2 倍,难度估算 1 倍。
  • 包含开发、运行和评分的基础设施成本。模型还估算开发的基础设施成本(例如,测试运行所需的 token 和 GPU)以及运行和评分一次尝试的成本(以美元计),包括任何人工评分。
  • 在同一任务家族内分摊共享成本。模型将开发工作拆分为同一家族中其他任务可复用的工作(例如共享的 harness 或评分器)和该任务特有的工作。我们将共享成本均匀分摊到整个家族(例如 MirrorCode)。

文章标题:与 AI 研发相关的模型能力正在快速提升

正文: 我们最终把上述各部分相加:一项任务在共享开发成本中所占的份额、其任务特定开发成本,以及运行并评分一次所需成本的 100 倍。我们不使用模型自身报告的任何总计数据。我们对这里选择 100 并不十分坚持,这一数字是基于关于 RL 环境使用情况的公开推测选定的(例如,参见 Mechanize 的这篇文章)。我们还发现,当把这一数字降低到仅运行并评分 10 次时,模型表现仍然更差(见下方消融实验)。

我们的模板提示词⁠68 如下所示:


        You will be shown data about a task, and then asked a question about the task. Your job is to read the question and the task data closely, and then provide a good assessment and answer to the question about the task.
<task_data>
{
"task_id": "<family>/<task>", "task_version": "<version>", "datetime_created": "<date>",
"task_source": "<HCAST, SWAA, RE-Bench, MirrorCode or TH2>",
"instructions": "<the instructions the agent is given>",
"scoring_instructions": "...",
"readme": "<the task's README, or null>",
"compose": "<the task's Docker compose file, or null>",
"repo_link": "<link to the task's source code>",
"meta": {
"summary.md": "<a short summary of the task>"
},
"relevant_files": {
"manifest.yaml": "<file contents>",
"<task>.py": "<file contents>",
...
}
}
</task_data>
Estimate the cost to develop the task and to run and score it 10 times. Account for tasks that require manual scoring (and so use human time at human cost for scoring). Itemize the different potential costs (including compute costs, costs from the task taking a long time to run, costs to run scoring, any associated recruitment and management costs for specialized labor) and then sum them up. Assume all human time (engineering, domain experts, manual scoring) costs $150 per hour. Give your estimate in dollars.

Also include a "breakdown" object in your json. Give the development work in hours for each phase, once for the shared part and once for the task_specific part:
- shared: development that other variants of the same task would reuse (a shared harness, environment or grader)
- task_specific: development specific to this task

Phases:
- initial_implementation: choosing the task, the spec and the scoring design, and writing the task, environment and scorer until it runs
- test_runs_and_improvements: model runs to check the task works, reading their transcripts, and fixes and features after test runs, QA and review
- quality_assurance: a human QA run, reward-hacking checks, review
- difficulty_estimation: human baselines or human time estimates
- development_compute: compute and tokens used during development, in dollars

Also give per_attempt: the cost to run and score one attempt, in dollars.
      

{"reason": "...", "value": 7800, "confidence": 0.6, "breakdown": {"shared": {"initial_implementation": 24, "test_runs_and_improvements": 10, "quality_assurance": 3, "difficulty_estimation": 0, "development_compute": 200}, "task_specific": {"initial_implementation": 3, "test_runs_and_improvements": 2, "quality_assurance": 1, "difficulty_estimation": 4, "development_compute": 50}, "per_attempt": 50}}


        value = 150 * (all phase hours) + development_compute (both parts) + 10 * per_attempt
You may reason and output text before your answer. Give your answer in json within a json block with keys value, reason, and confidence (as a probability) like:
      

{"reason": "your reason", "value": value, "confidence": confidence}


        
      

生命周期成本子集

在正文中,我们使用时间跨度来描述模型在相对生命周期成本较低和较高的任务子集上的表现差异。

我们使用 log(task time) 和 log(cost) 中的分段线性拟合来创建这些子集,将我们的任务数据集分成两组总权重相等的组,如下所示:

图 40:按生命周期成本拆分任务,并控制任务时间

生命周期成本消融实验

文章标题:与 AI 研发相关的模型能力正在快速提升

正文: 在我们的主分析中,每个任务只使用一个数据点,即其最高分数阈值处的数据点。这里我们还展示了 task@score 数据点级别的图表,该图表使用了连续评分任务的所有分数阈值。

这并不改变我们的结论:我们估计那些将其转化为 RL 环境成本高昂的任务,往往对模型来说也更难。

图 41:超额成功率 vs. 生命周期成本与任务时间(针对人类)

超额成功率是指一个任务的成功率比其调整所依据的指标预测值高出多少。我们仅对 50% 时间跨度在任务时间或成本的 8 倍以内的模型求超额成功率的平均值,以过滤掉那些任务对其而言过于简单或不可能完成的模型。

图 42:超额成功率 vs. 生命周期成本与任务时间(针对人类)

超额成功率是指一个任务的成功率比其调整所依据的指标预测值高出多少。我们仅对 50% 时间跨度在任务时间或成本的 8 倍以内的模型求超额成功率的平均值,以过滤掉那些任务对其而言过于简单或不可能完成的模型。

在主文中,我们使用人类基线或估计的完成时间,因为这是我们能够获取的。为了检验我们的生命周期成本对这些估计值的变化是否稳健,我们查看使用模型估计的完成时间⁠69 是否能得到类似的结果。这也使得模型估计的生命周期成本与模型估计的完成时间之间的比较更加对等。我们还在不同的分数阈值下检查了这些图表,如同之前的稳健性检验一样。

即使使用模型估计的完成时间,我们仍然发现,我们估计那些将其转化为 RL 环境成本高昂的任务,往往对模型来说也更难。

图 43:在我们的数据集上,任务时间(针对人类)与生命周期成本是相关的

图 44:超额成功率 vs. 生命周期成本与任务时间(针对人类,模型估计)

超额成功率是指一个任务的成功率比其调整所依据的指标预测值高出多少。我们仅对 50% 时间跨度在任务时间或成本的 8 倍以内的模型求超额成功率的平均值,以过滤掉那些任务对其而言过于简单或不可能完成的模型。

图 45:超额成功率 vs. 生命周期成本与任务时间(针对人类,模型估计)

超额成功率是指一个任务的成功率比其调整所依据的指标预测值高出多少。我们仅对 50% 时间跨度在任务时间或成本的 8 倍以内的模型求超额成功率的平均值,以过滤掉那些任务对其而言过于简单或不可能完成的模型。

在主文中,我们剔除了在 x 轴上偏离中位数超过 3 个稳健标准差的任​​务,以观察不受异常值影响的趋势。我们使用稳健标准差,其计算方式为中位数绝对偏差的 1.48 倍,以防止极端值扭曲识别异常值的阈值。

这里我们展示了使用其他规则的拟合消融结果:

  • 保留所有任务
  • 剔除偏离中位数超过 3 个稳健标准差的任务(主文图表)
  • 剔除偏离中位数超过 2 个稳健标准差的任务
  • 剔除 Cook's distance 高于 4/n 的高影响任务

总体而言,在这些规则下,相对生命周期成本的斜率保持适中,介于每翻倍 −11.8 到 −16.3 个百分点的成功率之间:

图 46:剔除异常任务后的超额成功率 vs. 生命周期成本

每个点代表一个任务。对于有多个分数阈值的任务,我们使用最高的那个。超额成功率是指一个任务的成功率比其任务时间(针对人类)预测值高出多少。我们仅对 50% 时间跨度在任务时间的 8 倍以内的模型求超额成功率的平均值。灰色叉号为被剔除的任务。稳健标准差使用中位数绝对偏差。

当我们将每个任务的运行和评分尝试次数降低到 10 次时,成本高于其长度(任务时间)预测值的任务仍然更难,且效应大小大致相同。

文章标题:与 AI R&D 相关的模型能力正在快速提升

正文: 图 47:生命周期成本 vs. 任务时间(对人类而言),每个任务有 10 次计分运行,而非 100 次

图 48:成功率 vs. 生命周期成本,每个任务有 10 次计分运行,而非 100 次

每个点代表一个任务。对于有多个分数阈值的任务,我们采用最高的那个阈值。超额成功率是指一个任务的成功率比其任务时间(对人类而言)所预测的高出多少。我们只对 50% 时间跨度在任务时间 8 倍以内的模型求超额成功率的平均值,以过滤掉那些任务对其而言过于简单或不可能的模型。

在这张表中,我们可以看到 IRT 难度的方差有多少是由生命周期成本与人类完成时间所解释的。

这里我们展示使用其他规则进行拟合的消融实验:

  • 保留所有任务
  • 剔除偏离中位数超过 3 个稳健标准差的任务(主文章图中的做法)
  • 剔除偏离中位数超过 2 个稳健标准差的任务
  • 剔除 Cook's distance 高于 4/n 的高影响任务

值得注意的是,我们发现成本在解释 IRT 难度方差方面往往比人类任务时间解释得更多。

数量 ⁠ 70所有任务(209)剔除超过 3 个稳健标准差的任务,如文中所述(201)剔除超过 2 个稳健标准差的任务(191)剔除高影响任务(199)
仅生命周期成本55% [39, 67]52% [36, 66]51% [31, 67]60% [46, 72]
仅人类任务时间41% [22, 57]47% [29, 64]49% [28, 66]49% [30, 64]
成本与时间合计55% [40, 68]53% [36, 68]52% [32, 68]61% [46, 73]
时间之外的成本(合计减去仅时间)14% [4, 29]6% [1, 15]3% [0.4, 10]12% [3, 26]
成本之外的时间(合计减去仅成本)0.1% [0, 2]0.5% [0, 4]1% [0, 4]0.4% [0, 3]

图 49:MCI 难度 vs. 任务时间与生命周期成本

下面我们展示一张类似的图(与主文章中使用的 time horizons 相同),用 IRT 模型来指示模型在较低和较高相对生命周期成本子集上的能力差异。

我们在所有任务上拟合一个单一的 IRT 模型,然后绘制 IRT 对每个模型在较高和较低相对成本子集上预测的期望得分。我们观察到两个集合之间在表现上存在类似的差距:

图 50:在我们的数据集上,IRT 模型对我们估计成本更高的任务预测出更低的分数

我们使用与时间跨度相同的方法来估计生命周期成本跨度,用每个任务模型估计的生命周期成本替代其完成时间。对于每个模型,我们在我们的任务上拟合成功率对 log 生命周期成本的一条 logistic 曲线。然后我们将曲线穿过 50% 处的成本作为该模型的成本跨度。⁠71

然后我们对前沿模型的成本跨度随发布日期拟合一个趋势,置信区间来自相同的 bootstrap。下图展示了这一趋势。

图 51:在 TH1.1 和 TH2 中,我们发现模型能够完成的任务的模型估计生命周期成本也在稳步上升。

下图展示了生命周期成本跨度的 logistic 拟合:

图 52:成功率与 logistic 拟合:按生命周期成本划分的 TH1.1 + TH2 任务

每个点代表一个任务在其最高得分点及其模型估计的生命周期成本。

G 数据完整性与奖励黑客

奖励黑客检查

任务可能以多种方式存在缺陷。环境特征可能使任务变得极其简单或不可能,或者允许智能体以不能反映我们意图衡量的能力的方式成功。我们希望确保任务是公平且可完成的,这样我们就不会因为任务不合理地困难而低估智能体的能力,也不会因为智能体利用了漏洞或对评估进行了奖励黑客而高估其能力。

为确保我们的任务质量高,我们在整个开发过程中采取以下步骤:

任务开发流程中的数据完整性检查
任务实现在任务最初开发时,会重点关注良好的容器化实践(例如合理的 agent 权限、独立的游戏引擎或隐藏测试容器等),以及清晰的指令撰写(例如点明任务的精神、明确防范显而易见的 reward hack 等)。在初步可运行的实现之后,任务开发者会经历一个迭代过程:把 agent 放进任务中,识别它倾向于做什么,并封堵 reward hacking 的机会或代码中的 bug。
质量保证阶段初始实现会移交给团队的另一名成员,由其进行代码审查和环境质量检查。在环境质量检查中,这名人类团队成员会扮演 agent 并尝试完成任务,特别着重于试图找出环境中的问题。任何问题都会反馈给任务开发者,由其修复并在此基础上迭代。
正式运行任务开发完成后,我们会用一组预先确定的 agent 启动运行,从而得到一份留作分析的“正式运行”列表。此时,我们还会再做一轮 reward hacking 排查,看看有多少次运行因 agent reward hacking 或任务本身过度损坏而失效。另一名团队成员会先阅读任务指令,并浏览选定的对话记录,寻找 agent 行为中的显著趋势。然后,他们会生成一份需要排查的潜在 reward hack 或问题清单,并让一个扫描 agent 处理对话记录以找出任何实例。这同样是一个迭代过程,每次扫描都可能产生新的疑虑,从而需要新一轮扫描。这份潜在 reward hacking 清单会由又一名团队成员进行同行评审,由其汇总出最终需要为分析而剔除或重跑的运行集合。

我们估计,在整个任务开发过程中,至少 10% 的人力明确用于防止 reward hacking。此外,我们预计这项工作只会随着时间推移而不断增加,因为我们发现,能力越来越强的 agent 会以越来越小众的方式利用任务环境。

在流程结束时,我们仍然发现“正式运行”中约有 10 次运行(<0.1%)存在足够严重的 reward hacking,以至于我们将该次运行的分数设为零。

我们发现许多 AI agent 对我们的评估进行 reward hacking 的例子,我们将其定义为采取能提高其分数但未完成预期任务的行为。我们在此聚焦于 TH2 任务,并讨论 agent 行为的一些总体趋势。

图 53:TH2 分析运行中检测到的 reward hacking

Agent 会调查环境,寻找绕过预期任务的捷径。例如,我们发现 agent 试图访问人工标注的数据集以获取概念推理任务中的答案、下载现成的 bot 代替自己玩 Slay the Spire,以及查找作弊码以绕过 Minecraft 中的挑战。

文章标题:AI R&D-relevant model capabilities are improving rapidly

正文: Agent 会以牺牲更通用的解决方案为代价,针对隐藏测试集进行优化。当一项评估通过指令或练习集的性质暗示了隐藏测试集的存在或内容时,agent 往往会投入大量精力去优化它们对测试内容的最佳猜测。我们怀疑,各公司用于训练的 RL 环境通常具有这种隐藏测试在某种程度上可预测的特征,以至于 agent 值得放弃广泛有用的解决方案,转而采用针对隐藏测试定制的方案。例如,在我们基于 Minecraft 的任务中,agent 根据给定的练习世界种子去猜测测试世界的种子,并把剩余开发时间用于针对测试世界种子进行优化,尽管它们并不知道自己的猜测是否正确。在我们的 Reverse Conway 任务中,agent 利用任务的提交失败信息来探测隐藏目标面板的特征。

Agent 往往会尝试暴力破解解决方案,而不是按预期方式解决任务。在我们的游戏任务中,agent 会尝试下载游戏引擎本身,以便在不被评分时测试某些策略。在我们的可验证任务中,如果被给予多次或不限次数的尝试,agent 会编写脚本来自动化试错。

这些 reward hack 的绝大多数都涉及利用任务说明中未提及的疏忽,或者游走在提示中给出的某项约束的边缘。模型偶尔也会违反明确禁止采用某些方法的指令。例如,在 Train a Program 中,agent 被要求训练一个模型来生成图像,且不能把图像生成逻辑放在外围代码中。但 Astra 自己编写了整体流程,然后训练较小的模型来执行各个步骤。

目前尚不清楚这在多大程度上是 alignment 限制、能力限制,还是两者兼有。然而值得注意的是,大多数出现可疑行为或 reward hacking 的运行都是由前沿 agent 完成的,例如 GPT-5.6 Sol、GPT-6 Astra、Fable 5、Fable 5.1 和 Opus 5.5。此外,这些前沿模型所实施的 reward hacking 比更弱的模型更隐蔽、更难被发现。值得注意的是,GPT-5.6 Sol 的 hacking 次数超过任何其他前沿模型,而且在进行 hacking 时往往相对毫无顾忌。另一方面,Fable 5 和 Fable 5.1 似乎与 reward hacking 有着更复杂的关系。在同一任务的独立运行中,Fable 5.1 有时会非常谨慎地避免 reward-hacking 的机会,其他时候则会花大量时间利用同一个 reward hack。

Agent 进行 reward hack 的倾向可能会影响它们在 AI R&D 环境中的有用性,因为它们可能更专注于改进代理指标,而不是真正改进手头的问题。在目标定义不够明确、它们被迫开发自己的指标的环境中,这一点可能尤其如此。值得注意的是,一旦 agent 被推到其能力极限,或者 agent 怀疑任务不可能完成——正如 Hugging Face 事件或 UKAISI 的网络评估中所见——这些行为似乎更有可能发生。

Refusals and Sandbagging

LLM 提供商已引入监控系统,并训练模型拒绝某些与网络安全和 AI R&D 相关的请求。虽然拒绝作为安全措施是有用的,但它们也使评估模型在这些领域的能力变得更加困难。我们发现,即使使用 CVP 和 Daybreak 模型,我们也有少数任务遇到非常高的拒绝率。有些拒绝并非来自提供商层面的分类器触发,而是来自模型本身,这可能更难检测。此外,仍然存在一种可能性:模型出于安全之外的原因,故意“sandbag”并在某些任务(例如 AI R&D 或 alignment 相关任务)上表现不佳。

文章标题:与 AI 研发相关的模型能力正在快速提升

正文: 我们结合多种技术来扫描这些潜在担忧:

  • 对预期可能表明拒绝或 sandbagging 的词语和短语进行关键词与正则搜索,随后由单个 agent 进行调查。
  • 全转录本 LLM 扫描:将一份转录本拆分成若干块,每块通过单次模型调用进行评估以查找担忧,任何被标记的结果会被汇总并由能力更强的模型进行判定。
  • Agentic LLM 扫描:将一个拥有 shell 访问权限的独立 agent 指向每份转录本,要求它通过整体理解和搜索转录本来发现担忧,而不是规定某种访问模式。结果会被标记给能力更强的 agent,后者可以自行决定深入查看更多细节,或按需发起更多搜索。

这些技术发现了各种各样的拒绝情况,但没有发现我们所说的那种有意义意义上的 sandbagging。大多数模型明确表达相关想法的案例,都是在一个任务上停滞不前并试图放弃的小模型。在一个案例中,GPT-5.5 因担心在 token 上花费过多而选择提前提交。我们预计这些扫描能够捕捉到易于检测或明确表达出来的 sandbagging 决定,但无法捕捉未言明或手法复杂的 sandbagging。然而,结合我们在不同模型家族的各代模型中观察到分数显著上升(即没有突然的平台期)这一证据,我们相当有信心我们的结果未受影响。

在所有分析中,我们剔除了模型拒绝参与任务、或模型被提供商层面的监控阻止进一步行动的观测数据。

H 能力增长率的变化

在撰写本文时,METR 最近于 2026 年 10 月发布了一份关于 Anthropic 的 AI 研发加速的独立评估。这篇 TH2 文章由一个与执行该独立评估不同的团队撰写,我们无法获取公开报告所依据的任何机密信息。该独立评估报告称,Anthropic 模型之间的 AECI 增长率在 2025 年 10 月之后比之前高出 1.9 倍。在本节中,我们将我们的数据与该结果做一些初步比较。

报告中的 1.9 倍数字使用了非公开模型的数据,我们无法直接与之比较。⁠72 幸运的是,Anthropic 此前的系统卡已经公布了截至 Opus 5.5(我们在本报告中测试的最强 Anthropic 模型)的公开 Anthropic 模型的斜率变化数字。在 Opus 5.5 系统卡中,报告的斜率变化为 1.53 倍,在 Haiku 5.5 系统卡中,报告的斜率变化为 1.70 倍。⁠73⁠74 我们选择与这些系统卡(而非 Fable 5.2 系统卡)进行比较,是因为我们在本报告中只测试到 Opus 5.5 的模型。

当使用相似的校准和拟合模型时,我们在 MCI 中观察到的斜率变化总体上与 METR 的 2026 年 10 月 AI 研发加速报告相当。通常我们在自己的数据上观察到的斜率变化略低于 Anthropic 系统卡和 2026 年 10 月报告中观察到的斜率变化。我们观察到,对 IRT 模型拟合关联线性拟合对校准模型、断点和所使用的基准/指数的选择很敏感。这里为了便于比较,我们使用与独立评估相同的斜率变化方法。

在截至 Opus 5.5 和 GPT-6 Astra 的公开模型上,我们观察到 Anthropic 模型内存在正的斜率变化,但 OpenAI 模型内没有,而两家开发商所纳入的最强模型能力水平相近。

图 54:2025 年 10 月 METR 能力指数(MCI)的斜率变化

文章标题:与 AI 研发相关的模型能力正在快速提升

正文:

  • 在我们所有公开模型中,以 2025 年 10 月为断点对前沿模型做链接线性拟合,得到的斜率变化为 1.10x(95% CI 0.59 - 1.91)。我们注意到自己的置信区间极宽,本文给出的多数斜率变化都会如此。仅对 Anthropic 的前沿模型拟合趋势,得到的斜率变化为 1.26x(95% CI 0.66 - 2.16)。对 OpenAI 模型做同样的处理(使用相同断点),得到的斜率变化为 0.94x(95% CI 0.53 - 1.90)。
  • 在我们的 IRT 模型中,Anthropic 前沿斜率变化的幅度取决于我们是把所有公开模型、还是仅把 Anthropic 模型用于 IRT 模型校准。仅用 Anthropic 模型校准时,我们看到更大的斜率变化 1.46x(95% CI 0.59 - 3.19)。这一斜率变化与 Opus 5.5 系统卡中报告的 1.53x 最为接近。
  • 我们也可以对 OpenAI 模型做类似的斜率变化分析,此时仅用 OpenAI 模型校准我们的 IRT。与 Anthropic 的情况不同,仅用 OpenAI 模型校准时,我们看到的斜率变化为 0.97x(95% CI 0.41 - 1.79),与用所有公开模型校准时相近。

斜率变化取决于断点。对于 OpenAI,在我们的数据上,使用更晚的断点会得到更大的斜率变化。在使用断点两侧各至少有 3 个模型的断点中,我们观察到的最高斜率变化为 1.32x。

对于 Anthropic,在我们的数据上,我们在更宽的范围内观察到正的斜率变化。例如,在我们的数据上,在 Opus 4 发布时斜率变化为 1.35x(95% CI 0.56 - 3.47),与使用 2025 年 10 月断点时的 1.46x 斜率变化相差不远。

图 55:MCI 中按断点日期给出的斜率变化

每条曲线是随断点移动,对某 AI 开发者的前沿模型做链接线性拟合所得的斜率变化。色带为跨模型、任务族和运行的 80% 与 95% bootstrap 区间。断点两侧各需至少 3 个前沿模型。模型截至 2026 年 9 月 22 日发布。

我们也可以用 ECI 的数据和模型代替我们自己的来做类似分析。ECI 大概是 AECI 最接近的公开类似物。⁠75 用所有模型校准时,使用 2025 年 10 月断点的 Anthropic 前沿模型 ECI 斜率变化为 1.50x(我们的数据上为 1.26x),而仅用 Anthropic 模型校准时为 1.81x(我们的数据上为 1.46x,Opus 5.5 系统卡上为 1.53x)。因此,在我们自己的 IRT 模型和 ECI 模型中,斜率变化似乎都取决于校准模型。斜率变化的幅度似乎也取决于所用的 IRT 模型 / 任务集。

图 56:Epoch 的 ECI 中 2025 年 10 月的斜率变化

I 推理扩展

下面我们展示新套件中连续评分任务上的推理扩展曲线,从中可以看到性能如何随 (1) token、(2) 推理成本、(3) 工作时长而扩展。为便于阅读,这些图按运行和任务聚合,因此我们展示的是模型在任务族上的推理扩展。我们发现,智能体在某些任务上确实会到达平台期,但并非所有任务都如此。

按总 token 数计的最佳分数

这里我们展示模型的最佳分数如何随总 token 用量提升。总 token 用量是输入、输出、缓存 token 之和,其中缓存读取约占总量的 97%。要看 x 轴换算为推理成本后的图,请见下文。

图 57:近期前沿模型的平均最佳分数与所用 token 数

按推理成本计的最佳分数⁠76

在这张图中,我们展示模型的最佳分数如何随推理成本提升。我们通过用 token 数乘以各模型截至 2026 年 10 月 2 日的标准公开标价(美元)来计算推理成本。它对输入、输出、缓存读取和缓存写入分别定价。由于缓存读取便宜,成本对输出和未缓存输入的权重远高于 token 数图。

图 58:近期前沿模型的平均最佳分数与推理成本

Best score across agent working time

在这张图中,我们展示了模型的最佳分数如何随 agent 工作时间变化。agent 工作时间不包含等待 API 速率限制和重试所花的时间。但它仍然包含 API 响应延迟以及工具或计算时间,因此跨模型比较部分反映了提供方的服务速度。在计算密集型任务上,它主要反映工具运行时间。

Figure 59: Mean best score vs agent working time for recent frontier models

J Swarm Experiments

Overview

对于我们的若干任务,我们用 swarm 做了一些小规模实验,swarm 即一组 agent 在没有明确领导者或 subagent 结构的情况下共同朝着一个目标工作。由于它们最近在现实事件中出现,这些实验特别值得关注。

其他组织最近研究了小规模 swarm 的性能特征,我们的结果与其他组织的结果基本一致。我们发现,在某些任务和某些模型上,agent swarm 在总 token 开销匹配的情况下可以稳定优于 best-of-k 对照。然而其他任务则出现下降,对 prompting 和组织结构有显著敏感性,而且提升与 swarm 规模之间似乎没有清晰的关系(或“swarm 缩放定律”)。

提升最大的任务似乎是可验证且易于分解的。当模型有简单快捷的方法判断某个贡献或方向是否良好,并且当独立工作的块倾向于相互构建时,它们就能跃过并行独立探索(best-of-k)。

另一方面,在模型必须自行确定验证方法而没有 ground truth 的任务中,往往会导致错误假设的传播;此外,涉及极长反馈循环、极有限资源或交互渠道的任务大多只带来协调开销。

尽管规模远小于一些“in-the-wild” swarm,这些结果似乎表明性能提升更像是放大模型已有的优势,而不是带来质的新能力。它们可以通过在高度可验证、有即时反馈的任务上合作而做得更好,但倾向于过度沟通、在没有适当怀疑的情况下传播错误假设,并且对初始条件高度敏感。仅靠 swarm 似乎不太可能推动不可验证的、负载品味的研究能力进步,而这些能力本来远超出任何单个模型在同等 token 开销下所能达到的范围。

值得注意的是,由于预算限制,我们对不同 swarm 配置的测试有些不均衡,没有系统地同时变化团队规模和样本数量。这意味着我们观察到的许多模式仍只是提示性的,并且可能在不同 agent 团队规模或不同模型下发生变化。

Figure 60: Swarm score relative to the best of k independents

Figure 61: Swarms against the best of k independents, by swarm size

Methodology

我们在这些实验中的设置是一个直接的 forum Inspect agent scaffold,其中给 agent 提供工具,使其能够向共享 messageboard 发布 thread 和 post、阅读他人的 post、追赶并 sleep/wait on thread 等。对于每个规模为 k 的 swarm,我们与一个 best-of-k 对照进行比较,即并行运行相同数量的 agent 并取最佳分数。我们还实验了一些运行时间很长、token 预算很高的单 agent,但发现它们过早进入平台期,性能比 best-of-k 更差,因此不适合作为有用的对照。

Results

Figure 62: Swarms of size 5 outperform best-of-k counterparts in nanoGPT speedrunning

我们任务套件中唯一相对稳定获得 swarm 提升的任务是 nanoGPT,其中 agent 的任务是基于 nanoGPT speedrun 优化语言模型训练脚本。

AI R&D相关模型能力正在快速提升

在这项任务中,各次提交彼此独立,智能体在提交过程中能看到每次提交的准确得分,并且可以在固定预算内反复提交。这些任务特性似乎特别有利于群体(swarm)带来提升:智能体可以独立工作,同时借鉴共享的洞见和突破来改进自己的方案。

值得注意的是,由于预算限制,我们在这项任务中只能运行少数几种群体配置,因此无法确定在非常大的群体规模下是否会出现类似的结果。

在我们的任务套件中,有两项任务相对一致地出现了群体拖累(swarm downlift):

  • Minecraft Bot:构建一个能通关 Minecraft 的自主机器人,在隐藏世界上进行评估。
  • Train a Program:训练一个神经网络来复现给定程序的 I/O,在隐藏测试用例上评估。

在某些智能体群体中,尤其是 Train a Program,增大群体规模反而导致得分下降。

虽然这两项任务的得分定义明确、原则上高度可验证,但任何给定提交的确切得分并不会被直接揭示。因此,它们奖励的是智能体在可用的练习环境中构建良好的验证循环,并避免对单个样例过拟合。此外,这些任务中一次成功的运行可能需要数小时的真实时间才能完成,因此反馈循环很长。

对于这两项任务,群体似乎容易做出错误假设并陷入局部陷阱。模型会选择针对一个它们早期就认定正确的指标进行优化(例如,在 Train a Program 中使用它们自己生成的某种特定数据增强的数据集,或在 Minecraft Bot 中某个给定练习种子的进度),然后再也不去考虑这是否真的能泛化到隐藏得分。由于它们无法访问自己的留出得分,它们很少会受到促使改变方向的提示。

在下图中,我们展示了智能体在 Train a Program 任务中在自己生成的测试集上的表现,与它们在真实测试集上的表现对比。有趣的是,随着群体规模增大,差距显著扩大,这表明更大群体中的智能体更容易误导自己。

Figure 63: Swarms overestimated their own performance in Train a Program

在我们套件中,有两项任务从群体中获益的程度不一:

  • Slay the Spire:游玩一款 roguelike 卡牌构筑类电子游戏。
  • Reverse Conway:编写程序,在固定计算预算下将 Conway 的生命游戏棋盘反向推演越来越多的步数。

Slay the Spire 对群体来说是一个有些独特的环境,因为它是一个有状态的外部环境,且带宽通道非常有限。为避免明显的失败模式,我们加入了提示,要求选出一个单一的驱动智能体,由它发送所有实际游戏指令,但与其他智能体协调做出决策。

在这种设置下,拥有多个智能体有时有助于进展,有时会阻碍进展。特别是,队友有时会鼓励明显的失误或传播错误信息。另一方面,对每个决策的更多审视有助于减少前期死亡,并在存在致命机会时找到它们。

Figure 64: Swarms had a mixed performance in Slay the Spire

值得注意的是,由于几乎每个回合都有大量讨论,群体运行 Slay the Spire 的时间显著更长。

在 Reverse Conway 中,与 nanoGPT 一样,智能体可以提交许多解决方案,并在过程中收到关于其确切得分的反馈。然而,这项任务也比 nanoGPT 更难爬坡,因为对程序的小幅添加往往不会对应得分的明显提升,而且两个不同的解决方案不太可能被有效地合并。

总体而言,这种动态导致不同智能体群体之间表现各异。Fable 5.1 和 Opus 5.5 似乎从群体动态中获益,而 Astra 群体的表现与 best-of-k 配置相似。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗