AI 领域最重要的图表是错的
现实世界与图表
简而言之:真实世界的 AI 数据显示,其能力令人印象深刻,但也远逊于那些有影响力的 AI 预测和基准所投射出的水平——而这些预测和基准恰恰指向即将到来的超级智能。
根据有影响力的预测,到明年,AI 应该能够自主完成人类需要数年才能完成的任务。
METR 任务时间跨度衡量的是基准性能。无论是使用 ECI 分数对其进行的推断,还是诸如最初的 AI 2027 情景之类的预测,都大幅高估了 AI 在真实世界研究任务中能够完成的任务时长。
来自 OpenAI 和 Google 的关于这些公司内部实际如何使用 AI 的新数据与此相矛盾,发现真实世界的工作要混乱得多,时间跨度也短得多。

此外,现实世界与预测之间的差距一直在变得更大。在 80% 成功率下,从 6 月到 10 月,OpenAI 的真实世界内部任务时间跨度增长得远比 AI 2027 情景或对 METR 图表的推断所预测的要慢得多。

这一切都不是要责怪预测者或基准的创建者。我们过去都是在缺乏真实世界数据的情况下构建模型。既然真实世界数据已经存在,现在是时候从 AI 理论家转变为 AI 经验主义者了。
本 Substack 由读者支持。要接收新文章并支持我的工作,请考虑成为免费或付费订阅者。
目录
- 现实世界与图表
- 背景——奇点临近了吗?
- 1. 指数型指标与预测
- 2. 现实是混乱的。真实世界中的 AI 能力要弱得多
- 3. AI 的改进比预测慢得多得多
- 4. ECI 是指数型的吗?
- 5. AI 的可靠性差距
- 6. 这对 RSI 和超级智能意味着什么?
- 7. AI 透明度议程——从 Anthropic 开始
- 该更新了
- 附录 1. 我们可以使用的额外数据
- 附录 2. 不确定性有多重要?
背景——奇点临近了吗?
多年来,要传达 AI 能力正以指数级增长并将很快超越人类智能,最清晰的方式之一是一张由名为 METR 的 AI 评估组织发布的图表,展示 AI 能完成的任务需要多长时间。METR 图表以人类完成这些任务所需的时间来衡量任务。它考察 AI 在特定可能性水平下能够完成的任务时长,通常为 80% 或 50%。其他一些关于即将到来的快速起飞或 AI 奇点的著名图表,也常常以同一概念和同一数据集为基础。最初的 AI 2027 报告预测奇点会相当快到来,制作该报告的 AI Futures Project 的领导者们最近的更新也是如此。
OpenAI 和 Google 内部的真实世界数据表明这些图表是错的。它们严重误导了人们对 AI 当前能力以及这些能力未来增长率的认识。假设性预测与真实世界数据之间的差距每个月都在扩大。
文章标题:AI领域最重要的图表是错的
METR、AI Futures 以及我在这里会提到的其他组织,都充满了有能力、聪明、敬业、诚实的人。我从他们身上学到了不少东西。我认为他们以使命为导向,专注于让世界变得更好,而且显然很聪明。以上这些话绝无任何中伤这些个人的意思。在彼时我们尚无实证数据的年代,他们已经尽最大努力去预测未来。而且在许多情况下,他们的预测准确得惊人。
这篇文章的核心论点是:我们如今拥有了越来越多的这类实证数据,而这些数据所描绘的未来图景与以往大不相同。既然如此,是时候更新了。其次,AI 预测者和评估者在许多情况下受制于一种固有的局限:他们用离线数据集来衡量 AI,而在这类数据集里,表现可以被机械地判定为成功或失败。这一过程本身就在 AI 基准测试中制造了一种选择偏倚——偏向于更黑白分明的任务,而偏离了现实工作中那种杂乱无章的性质。即便在计算机科学领域也是如此。值得称赞的是,METR 理解这一差距,并一直在努力改进其基准测试,包括在今日发布的一份新报告中。
透明度的必要性。在正式开始之前,还有最后一点说明。你会注意到,我的批评几乎没有用到 Anthropic 的数据——如果有的话。这是因为迄今为止,Anthropic 尚未发布 OpenAI 所发布的同等细节和质量的数据(而 Google 正开始效仿)。事实上,尽管 METR 最近查看了 Anthropic 的内部数据,发现 Anthropic 的 AI 模型正在加速 AI 的进展,但 Anthropic 却迫使 METR 从该报告中隐去了最有力的证据。对于一家声称自己即将跨过 AI 使自身进展速度翻倍这一门槛的公司来说,这种做法是不负责任的。AI 领域最根本的安全政策应当是透明度。OpenAI 如今已为透明度树立了标杆。Google 似乎正在跟进。Anthropic 和其他 AI 公司负责任的做法,是加入一场透明度的“力争上游”竞赛——一场发布公众所需信息的竞赛,以便公众能够对 AI 领域正在发生什么、将走向何方做出独立评估。
撇开这些不谈,我们进入正题。
1. 指数级指标与预测
下面是经典的 METR 任务长度图表,为便于阅读做了编辑。它展示了 AI 能够自主完成的任务长度呈指数级增长。我下面展示的版本是 AI 成功率为 80% 的情况。

这是对数刻度。看起来像直线的部分实际上是呈指数级增长,从 2020 年初仅几秒的时间跨度,到 2026 年初使用 Claude Mythos Preview 时的 4 小时。
其他人观察到一个通用的经验法则:使用 AI 的 ECI 分数(The Epoch Capabilities Index,一个衡量 AI 的通用“IQ”分数),他们大致可以预测时间跨度。在 METR 基准样本中的模型里,大约 5 个 ECI 点对应着 80% 成功率下时间跨度翻倍。
ECI 分数多年来一直在稳步上升。而 Anthropic 声称,通过使用 AI 本身,他们看到了这一速度的加快。[公开记录显示 Anthropic 确实加速了,不过其中很大一部分是 Anthropic 从落后位置追赶至 AI 前沿。在自行调查之后,METR 估计 Anthropic 的内部能力指数在 2025 年 10 月之后以 1.9 倍的速度上升,并判断到 2026 年 10 月,AI 辅助研究很可能贡献了大部分加速。经济学家 Alex Imas 和 Luis Garicano 发现,支出及其他投入的增加似乎可以解释大部分加速。他们的分析并未确定其中有多少收益来自 AI。]
文章标题:AI 领域最重要的图表都是错的
正文: AI 安全组织 80,000 Hours 的创始人 Benjamin Todd 使用 Anthropic 内部的 capability index(能力指数)AECI,来估算 AI 如今能完成多长的任务,并发布了这张图表,估计当前最强大的 AI 模型能够自主完成长达 30–40 小时的任务。

最终,在 2025 年,AI Futures Project 的负责人在其最初的 "AI 2027" Forecast 中,发布了类似下图的图表,预测在其 fast-takeoff 编程情景下,按照 METR 风格的软件任务量表,AI 模型到如今将能够自主完成耗时数月的任务,到 2027 年底则能完成耗时一年以上的任务。[此后他们更新了这些预测,我们将在下文查看。]

2. 现实是混乱的。现实世界中的 AI 能力远没有那么强
那些图表全都是错的,只要它们试图描绘现实世界。它们可能在狭义上是正确的,因为它们衡量的是某个特定 benchmark 上的成功率。但那个 benchmark 并没有衡量 AI 在最具争议的任务——改进 AI 自身——上的实际使用情况。更重要的是,benchmark 与现实世界之间的差距正在迅速拉大。
OpenAI 掀开帘子。9 月,OpenAI 发布了一篇关于公司内部研究加速的帖子,首次向我们展示了从 1 月到 7 月逐月来看,AI 在完成给定时长任务方面的成功情况。这是我们第一次从一家 AI 公司内部获得如此详细的数据。它揭示了现实世界的混乱。逐月的数据也让我们得以追踪 OpenAI 内部的进展。在 Gemini Argon 发布时,Google DeepMind 也跟进了一张非常相似的图表(不过只涵盖一个时间段)。随后在 11 月,OpenAI 又发布了 9 月数据的更新版,包含更多细节、更新的方法以及更长的时间序列。
OpenAI 和 Google 的数据显示,在 AI 公司内部的现实世界任务中,AI 模型在 Google 完成约 9 分钟的任务、在 OpenAI 完成经调整后约 16 分钟的任务时,成功率约为 80%。
请注意,上面 OpenAI 的数字高于他们报告的数字,因为我们针对研究人员给 AI 分配模糊或无法解决的任务、以及 AI 自身所用工具的错误所导致的成功率可能下降做了调整。附录 2 讨论了这种不确定性对答案的影响有多大。总体结论没有太大变化。
其中一些在意料之中。METR 自己也明白,他们汇总进 benchmark 的任务时长,是一名一般熟练程序员所需的时间,但该特定领域的专家往往能更快地完成任务。这一差距估计高达 10 倍。而 AI 2027 的作者们——值得称赞的是——是以 METR 定义的时长为基准,并意识到 benchmark 时间与现实世界时间之间很可能存在显著差距。他们也这么说了。
话虽如此,上面的差距并不只是十倍。在 80% 成功率下,ECI → METR 的估算值是 OpenAI 内部任务时长的 33 倍、Google 的 41 倍。最初的 AI 2027 情景把现实世界任务时长高估了 100 倍以上。这些是非常重大的差异。
3. AI 的改进比预测慢得多、慢得多
文章标题:AI领域最重要的图表是错的
当然,指数级变化会吞掉这样的差异。对早期METR基准做直线外推,假设AI能完成的任务长度每隔几个月就会翻一番。这与ECI指标的一个设计特性有关:它被设计用来反映能力的指数级增长。在指数增长下,即使100倍的差距也只是7次翻倍。那可能只需要两年。
但这里,假想的AI能力与真实世界AI能力之间的差距并不是静态的。从6月到10月,在80%成功率下,ECI → METR前沿趋势和原始AI 2027情景的差距都急剧扩大。
把Benjamin Todd图表的形状与OpenAI和Google的真实使用情况对比,你会看到这种明显的分化。
对比原始AI 2027预测与真实世界观测,我们也能看到类似的差距。

这些假想与我们在OpenAI内部观察到的现实之间,分化速度有多快?在6月到10月这四个月里,在80%成功率下,Todd的图表与真实世界观测之间的分化大约扩大到了三倍。按这个速度,一整年下来,预测与现实之间的差距将扩大30倍。这不是一个好兆头。

AI 2027 / AI Futures Project的原始2025年预测,对AI能力的高估程度也大致以相同幅度增长。差距从37倍扩大到超过100倍,这同样意味着按年计算,差距将扩大超过25倍。

值得肯定的是,AI 2027预测的作者们并没有固守最初的模型。随着新数据的出现,他们进行了更新。但他们2026年8月的修订版显示出类似(尽管更温和)的模式。在其三条时间跨度路径中,从6月到10月,中心差距增长了约1.2–1.3倍。按年化速度计算,这大约是差距翻倍。远好于其他预测,但仍然严重偏离,并且随着时间的推移越来越不准确。

这些可不是细微的差别。我尊重任何有勇气创建未来定量模型并把它写下来、冒险表态的人。我自己也做过很多次。在预测未来时,没有人能做到百发百中。我也有过一些重大的失误。
当这些失误发生时——当现实与你的预测出现巨大分化时——关键是要更新。唉,能做到这一点的人要少得多。但在这方面我持乐观态度。
4. ECI是指数级的吗?
所以真实世界的AI任务长度远低于假想情景。它们在指数级改善吗?这是一个稍微更技术性的问题:“在现实世界的影响中,ECI是指数级的吗?”
文章标题:AI 领域最重要的图表是错的
正文: 在 OpenAI 9 月发布的数据中,趋势线看起来明显算不上指数级。而新的数据指向了另一个方向。在这个更长的数据集中,无论按 50% 还是 80% 的成功率来看,指数增长都是最佳拟合。话虽如此,在 80% 成功率下,直线和次线性趋势的拟合效果几乎一样好,所以现在还不能下结论说现实世界中的任务时长正在指数增长,尽管目前看这种可能性最大。

在 50% 成功率下,全部八个月真实世界数据的最佳拟合是随时间呈指数改善,中心估计为 AI 可完成任务时长每 3.9 个月翻一番,这与 METR 的最新估计相近。
在 80% 成功率下,中心估计的最佳拟合同样是指数型,意味着翻倍时间为 5.6 个月,比 50% 成功率下的翻倍速度慢约 40%。相对似然显示指数模型优于直线模型,但优势仅为 1.36 比 1。指数增长目前是我们的工作假设,但尚无定论。
这是否意味着现实世界的影响作为 ECI 的函数也是指数级的?就任务时长而言,情况似乎如此。但正如下文将要看到的,在更具体的现实世界指标上,趋势看起来并没有那么指数级。
5. AI 的可靠性缺口
这份数据中还潜藏着第二个问题:AI 模型不仅在有噪声的现实世界中表现不如在指标中那么好,而且正如 Nathan Witkin 所指出的,当对高可靠性有要求时,AI 模型的表现似乎尤其更差。
正如我们刚才看到的,在中心估计上,AI 模型在 50% 可能性下可完成任务时长的提升速度快于 80% 可能性下的提升速度。而且,50% 成功率下任务时长呈指数改善的证据也更强。
在两个实验室的数据中,ECI → METR 估计在 50% 成功率下高估内部任务时长 23–25 倍,在 80% 成功率下高估比例更高,为 33–41 倍。这意味着在更高的可靠性数字下,指标与现实世界之间的差距会更大,不过目前这还只是外推。

这一观察与人们在现实世界中观察到的情况相吻合:AI 是一个极其强大的工具,但必须被引导、纠正、指向并重新指向正确的方向。AI 的能力远强于它的可靠性。
这对 RSI 和超级智能具有含义。要真正自主运行,AI 的可靠性需要远高于 90% 的区间。当然,要自主自我改进,AI 需要把长序列的任务串联起来。即便是 99% 的成功率也可能不够。
我们没有足够的数据来实际测量 AI 在 95% 或 99% 成功率下的任务时长,但合理的推测表明它会相当低。
[请注意,这些外推尽可能合理且与其他 AI 建模保持一致,但仍非实证。未来的数据很可能会更新它们。]
用两种不同的方式对 OpenAI 和 Google 内部的现实世界数据建模,我们可以估计出 AI 将达到越来越高可靠性水平时的任务时长。
下表中的时长区间是实测的。在 80% 成功率以上,任务时长来自拟合曲线。

上图中的棕色线是逻辑斯蒂拟合,这种拟合在 AI 指标中很常用,尤其是 METR 和 ECI 都在用。它(我们马上就会看到)在高可靠率下对 AI 能力的估计非常残酷。我特意放入了另一种拟合——在对数曲线上是一条直线,并以 100% 成功率这一显而易见的 ceiling 为上限。这在 AI 建模中并不常用,但我坦率地说,是想找一个在此处对 AI 能力更乐观的、可信的拟合。
黑线是这两个函数的几何平均,是在这类 AI 模拟中最常用的模型和我尝试拟合的更温和模型之间取一个中间地带的尝试。如果我们放大来看,会看到这样的预测模式。

为了便于阅读,下图展示了结论:在现实世界中,AI 目前可能只在人类需要几秒到极少几分钟的任务上达到 99% 的成功率。

AI 何时能达到高可靠性?在长得多的任务上达到高可靠性可能需要多久?这是一个重要的问题,值得做预测。话虽如此,我们的数据有限,所以目前任何答案都高度推测性。如果 2026 年 3 月至 10 月的速度持续下去,且在高可靠性阈值下改进继续放缓,那么到 2035 年 10 月的中间预测将在 90% 成功率下达到约 70 天的人类工作量,95% 下为 2.6 天,98% 下为 2.4 小时。即使保持未来增长率不变,两种拟合给出的最后一个数字也从 36 分钟到 9.6 小时不等。

再次强调,这些是非常推测性的数字。然而,这些数字并不指向短期内失控的 AI 自我改进直至超级智能。要达到完全自动化的 RSI,AI 模型将必须以非常高的可靠率——可能远高于我们上面使用的 98%——执行人类需要数天或数周的复杂任务。这些预测表明,AI 还需要很多年才能做到这一点。
不可能任务是否存在上限?这里有一个重要的注意事项:在离线指标中,我们经常看到任何 AI 都会有一个得分上限,因为评估本身包含有缺陷或不可能的问题或任务。我们在 OpenAI 和 Google 内部数据中看到的某些效应,可能是公司内部研究人员给 AI 的短任务在定义上实际上有缺陷、无意义或因其他原因不可能完成。这不会改变我们结论的总体方向,但会改变具体数字。更多内容见附录 2。
6. 这对 RSI 和超级智能意味着什么?
文章标题:AI 领域最重要的图表是错的
这对我们理解 AI 自我加速、RSI 以及失控超级智能的前景意味着什么?
第一,OpenAI 的数据并未显示出 AI 进展速度有任何明显的加速。它们显示出的是公司内部 AI 使用量的非常明显的加速——AI 作为其后续产品的输入——但并没有显示成果的明显加速。事实上,OpenAI 非常贴心地将其博文拆分为输入部分和输出部分。输入在飙升。输出在有所上升。
第二,正如我上文所述,这些数字并不表明 AI 已经接近能够在没有人类参与的情况下真正自主改进自身。那将需要在长达数天或更长的任务长度上具备极高水平的可靠性。
第三,这些数据为我们提供了一种量化 AI 自我改进回路强度的方法。
AI 自我改进回路看起来仍然太弱
在我早前关于这一主题的文章中,我讨论了由 Tom Cunningham 及其同事开发的一个关于自维持 AI 自我改进的模型,该模型以一个关键变量为核心指标:AI 每提升一点 ECI,能带来多少额外的生产力?这是一种量化 AI 自我改进回路强度的巧妙方法。提醒一下,Cunningham 及其同事发现,当每点 ECI 带来约 15% 的生产力提升这一阈值时,自我改进就可能变得自维持。如下图所示。

根据我们所知的最清晰的实验性生产力实验(改进 Stockfish 国际象棋引擎)中的发现进行调整后,我得出 RSI 实现自维持所需的额外生产力阈值为 19%,但这已经足够接近了。
在我早前的文章中,我考察了 OpenAI 内部的实验节奏。在过去一年里,OpenAI 的研究人员每人每月能够运行更多的实验。当然,实验是我们做出改进 AI 的发现的方式。虽然它们不是我们想要的最终产出(AI 改进),但它们是我们可以获得的最佳代理指标之一。如果我们把实验节奏提升的全部功劳都归因于更好的 AI 模型呢?
我计算出,这将给出每点 ECI 约 3% 生产力提升的估计值。而且,鉴于 OpenAI 的研究人员也在更多地使用 AI(除了 AI 本身更强大之外),我猜测我们应该将该数值下调至 2-3%。
AI 领域的一些人,特别是 Tom Davidson 和 Yafah Edelman,指出了我方法论中的缺陷,这些缺陷可能使我低估了更好 AI 的影响,因为我将过多功劳归于这一时期之前取得的 AI 改进,从而低估了每点 ECI 提升所带来的影响。另一方面,我只是猜测而没有尝试量化更多使用 AI 所带来的影响。
有了更长时间的数据,我们现在可以做到这一点。我们可以将 OpenAI 内部研究人员在实际测量期间的人均实验节奏,与我们对同期 ECI 分数变化的估计进行比较,并针对研究人员所消耗的 token(或美元)AI 使用量进行调整。
正如 Tom 和 Yafah 所预测的那样,这一分析提高了每点 ECI 所对应的实验节奏估计增益。在针对 token 使用量或 AI 支出进行调整之前,每提升一点 ECI 与 OpenAI 内部实验节奏加快 4.4% 相关联(下图的第二个面板)。也就是说,在针对更多使用 AI(以内部支出金额的对数形式表示)进行调整之后,这一数值降至每点 ECI 实验节奏加快 3.6%。

文章标题:AI领域最重要的图表是错的
正文: 有了这套更好的方法和更多数据,每位研究者实验数量的估计增幅高于 9 月份的估计。该估计增幅仍远低于 AI 递归自我改进循环自我维持所需的 15-19% 阈值,但已经更接近了。
然而,抵消这一点的因素是,在 OpenAI 的数据中,ECI 每增加一个点所带来的每位研究者实验数量的增幅似乎正在下降,而不是保持稳定。

这与随着 ECI 上升,实验节奏和整体生产率的增长略低于指数增长是一致的。
另一个附加说明是,这并未计入 OpenAI 内部实验质量的任何提升。不过,最近的博客文章明确表示,AI 主要用于实现研究人员已有的想法,而不是作为新想法的来源或更好想法的筛选者。
从长远来看,如果要有快速的 AI 自我改进,很可能需要 AI 在“研究品味”上超越人类,而这一点在今天并不成立,也尚未反映 AI 的实际使用方式。这种可能性有多大,我会在以后的文章中讨论。
就目前而言,OpenAI 的数据与这样一种情况相符:AI 是 OpenAI 内部人类的放大器,但放大的程度还不足以让我们接近 AI 进展快速加速的阈值。
7. 一项 AI 透明度议程——从 Anthropic 开始
本文的分析之所以可能,只是因为 OpenAI(以及在一定程度上,Google)发布了关于其从事 AI 工作的研究人员在真实世界中使用 AI 的细粒度且具体的数据。这些数据之所以有价值,是因为它为我们提供了若干不同指标的具体数字,细节程度相当充分,并且在较长一段时间内保持一致。它出现得也很及时,距离其 9 月的数据发布仅约 3 个月。
正如人们所说,透明度是最好的消毒剂。在我看来,任何 AI 安全政策的基石都应该是透明度。有了这些数据,外部分析师可以深入探究正在发生的事情,并对 AI 的当前状态和未来轨迹建立自己的评估。AI 基准与评估公司、AI 未来学家、AI 安全组织、AI 非营利组织和学者都可以从中学习,并用它来更新和改进我们对世界和 AI 格局的模型。
没有它,我们就身处黑暗之中。
我有一份希望从 OpenAI 看到的其他数据的愿望清单,其他人也是如此,例如 Elasticity Institute 在其精彩的短文《How to Measure RSI》中提出的那样。但就目前而言,最迫切的需求是其他每一家 AI 公司都赶上 OpenAI 的透明度水平。
尤其意味着 Anthropic。
Anthropic 现在是 AI 市场的领导者,拥有使用最广泛的 AI 模型、首个 AI IPO、任何 AI 公司中最大的收入和利润,以及很大一部分心智份额。他们还公开表示,他们认为自己正接近一个阈值,即 AI 本身将其 AI 进展速度翻倍。然而,尽管他们允许 METR 的专业人员进入其办公室研究这一点,Anthropic 却迫使 METR 删改了显然最有说服力的证据。而且他们并未以同样详细或清晰的程度发布数据。
如果 Anthropic 像他们所说的那样致力于安全,如果他们像他们所说的那样接近 AI 驱动的 AI 进展加速,那么责任要求他们提供更高水平的透明度。
文章标题:AI领域最重要的图表是错的
正文: 这也不能让任何其他AI公司免责。值得肯定的是,Google DeepMind 在 Gemini 4 Argon 的系统卡中发布了与 OpenAI 相同结构的数据。我对此表示赞赏,并希望看到更多。我们尚未在 Gemini 4 Carbon 或 Neon 的系统卡或安全报告中看到此类更新。让我们看到这些数据,并让我们纵向地看到它。
Meta 和 xAI 正在追赶。应该鼓励他们将 OpenAI 的这次发布视为新的披露标准。
开源权重模型开发者也是如此,包括美国和欧洲公司(NVIDIA、Thinking Machines、Mistral)以及领先的中国实验室(Moonshot AI、Alibaba、DeepSeek、Z.ai、Xiaomi 等)。
开放就是透明。
是时候更新了
总而言之,我向制作这些数据的 OpenAI 团队以及 OpenAI 领导层致敬,感谢他们这种程度的透明度。
我在这份数据中没有看到任何东西能说服我 AI 自我改进的失控即将到来,反而有大量信息告诉我,AI 领域最著名的那些图表早该更新了。
特别是,我希望那些最担心 AI 快速起飞的人认真对待这份数据,以及预测与现实世界观察之间的不匹配。世界现在正接近对 AI 的恐慌点。告诉任何人恐慌或不恐慌不是我的事,但我希望那些拥有重要受众、麦克风、平台和声誉的人花时间根据经验观察更新他们对未来的模型。或者至少考虑一下这些信息对他们对未来的期望可能意味着什么,以及他们向公众传达了什么。
最后,我很可能在这篇文章中写的某些东西是错的。我欢迎指正。未来将偏离我们所有的模型。我会尽力改变自己的想法,并在新数据更新这些发现中的任何一项时传达出来。
是时候向 AI 经验主义更新了。
附录
附录1. 我们可以使用的额外数据

以下是我希望接下来从 OpenAI、Google DeepMind 和 Anthropic 看到的内容。
- 研究人员实际使用了哪些模型?每月发布每个内部模型的 Epoch Capabilities Index (ECI) 分数和委派任务份额。任务加权的 ECI 将取代我关于内部模型改进速度的假设。
- 请求最终结果如何?按月份和时长报告自主成功、辅助成功、普通失败、阻塞性工具错误、目标不明确和结果不确定。按干预方式拆分不确定案例。包括排除项、任务和研究员数量以及权重。
- 哪些类型的工作有所改善?按 OpenAI 的六个任务类别分解这些结果:Decide、Design、Build、Run、Analyze 和 Communicate。在每次发布中使用相同的类别。拆分 15 分钟以下的区间,以便我们能看到最短的任务是否真正达到 95% 或 99% 的可靠性。
- 为什么有人介入?询问请求者他们是纠正了错误、提供了缺失的信息或权限、遇到了故障,还是改变了主意。给独立评审者原始请求和访问权限。一个称职的同事能完成它吗?报告评审者一致性和在所有请求以及那些被判定为按原样可行的请求上的成功率。
Elasticity Institute 发布了一份更完整的数据请求列表。
附录2. 不确定性有多重要?
文章标题:AI 领域最重要的图表是错的
正文: 这些衡量 AI 任务成功率的指标,可能以多种方式低估或高估了成功率。在我准备这篇文章时,Avi Brach-Neuefeld 评论说,如果人类分配给 AI 的某些任务是不可能的或含糊不清的,那会系统性地让 AI 显得能力更弱,并导致我们低估它。以下是 Avi 的评论、Toby Ord 的回应,以及 Avi 的后续回复。
考虑到这一点,我调整了本文正文中 OpenAI 的指标,根据他们九月报告的含糊任务和工具错误数字设定了一个硬性上限。这就是为什么这篇博客文章引用的是 OpenAI 16 分钟 80% 成功率,而不是显示 12 分钟的原始数据。如果没有这一调整,80% 成功率看起来就不会呈指数增长。整体情况没有太大变化。
话虽如此,我在上面所做的调整可能并未涵盖所有可能的误差。所以让我们特别关注对成功的低估和对失败的高估,以及我们可能低估 AI 能力的方式。
差距还在吗?OpenAI 对成功的分类认为某些任务是部分成功。为传达这一点,他们在原始数据中提供了成功率的上限和下限。让我们对 OpenAI 模型的成功采取最乐观的看法。假设 OpenAI 所有不确定的任务都是成功的。加上下文描述的可行性调整,OpenAI 内部 80% 自主成功率下的十月任务长度估计从 16 分钟升至 25 分钟。这值得注意,但远不足以弥合与 AI 2027 或 ECI / METR 外推之间的差距。模型匹配的 ECI → METR 估计为 8.9 小时,是最乐观解读 OpenAI 内部数据的 21 倍。最初的 AI 2027 情景给出 30 小时,即 72 倍。对于 Google 的九分钟视野,相应的差距为 41 倍和 114 倍。

差距还在扩大吗?在对 OpenAI 内部模型成功的最乐观看法下,预测 / 外推与现实世界之间的差距仍在迅速扩大。在六月到十月的四个月里,最初的 AI 2027 差距从 26 倍增长到 72 倍。与 ECI → METR 前沿趋势的差距从 37 倍增长到 107 倍。两个差距都几乎增至三倍,这同样是按每年 10 倍的误差速度。这里的前沿趋势追踪的是随时间推移的领先模型。上面的 21 倍比较匹配的是单一模型。



文章标题:AI领域最重要的图表是错的
简而言之,对此进行校正确实会提高我们对AI能力的估计,但现实世界中的AI与假设模型之间的差距仍然非常大,并且随着时间推移持续快速扩大。
本Substack由读者支持。如需接收新文章并支持我的工作,请考虑成为免费或付费订阅者。