Newshot

AI领域最被误解的图表迎来重大更新

AI summary

AI评估非营利组织METR发布新报告称,部分AI能力正沿指数轨迹持续提升,但模型在需要判断力的任务上表现不如编程。该报告更新了该组织此前广为流传却遭普遍误读的“时间跨度图”,该图通过让模型尝试大量人类也完成过的任务来评估模型,每项任务的难度按人类测试者完成所需时间计分,再据此评定模型能完成的任务长度。旧图显示AI系统每四个月能成功完成的任务长度翻倍。更新版图表新增了更多任务,其中一些任务预估人类完成时间远超原任务集。

Translation(model translation, not the source's own text)
""
""

AI 评估非营利组织 METR 的一份新报告发现,一些 AI 能力正沿着指数轨迹持续提升——但报告同时表明,模型在需要判断力的任务上并不像在编程任务上那样出色。

该报告是对该组织“时间跨度图”的一次更新。这张图曾被广泛传播,也因其所用度量方式的复杂性而被广泛误读。METR 的评估方式是让模型尝试一大套任务,其中每一项任务也都曾由人类完成。每项任务的难度按人类测试者完成它所需的时间来评分——然后依据模型能够完成的任务时长来给模型打分。那张图显示,AI 系统正在快速进步——每四个月,前沿模型能够成功完成的任务时长就会翻倍。

更新后的图增加了更多任务——有些任务据估计人类完成所需的时间远超原始任务集中的任务,另一些则更为开放式。当下 AI 领域最大的问题之一,是“可验证”任务上的进展——即能够自动检验 AI 系统成功还是失败的任务——在多大程度上能迁移到成功与否更难衡量的任务上。我们知道如何教神经网络完成可验证任务:研究人员让系统多次尝试该任务,强化有助于成功的神经通路,削弱导致失败的通路。这就是为什么 AI 系统在编程和数学这两个领域变得如此擅长——在这两个领域,可以自动判断一个解法是否成立。

要把这种被称为强化学习的技术应用到成功定义不那么明确、或需要更长时间才能确认的任务上,则要困难得多——比如选择一个新的研究方向。出于同样的原因,评估 AI 在这类任务上的表现也很困难,所以 METR 最初的时间跨度图没有包含任何此类任务。但恰恰是这类任务,对于实现研发自动化的 AI 系统而言至关重要。

而 AI 研发正是当下格外热门的话题。AI 社群的一部分人仍在为几周前 METR 的另一份经过大量删改的报告感到震惊,该报告声称,AI 可能正在将 Anthropic 内部 AI 能力进展的速度加快至两倍。那份报告引发了担忧:这家公司(刚刚完成了一次轰动性的 IPO)可能很快就会实现完全的递归自我改进——一种 AI 系统在无人类参与的情况下自主设计自身后继者的状态。

METR 的研究人员努力将其中一些更模糊、更依赖判断、可能与 AI 研发最为相关的任务纳入他们的新任务集。在一项任务中,他们要求模型设计可供 METR 在其研究中使用的新的 AI 评估方法,然后由 METR 的人类员工对结果打分。尽管目前最先进的模型在软件工程上已优于几乎所有人,但在这里它们却表现不佳:没有任何一个由 AI 设计的评估好到让 METR 员工认为对其研究有用。

在另一项任务中,模型必须为哲学论证打分。这项任务意在衡量模型能在多大程度上运用良好的判断力——不过 METR 在报告中写道,员工们对于该任务与 AI 研发自动化的相关程度存在分歧。在这项任务上,模型同样未能达到人类的表现水平。

文章标题:AI 中被误解最深的图表刚刚迎来重大更新

尽管给这些新任务打分很困难——要弄清这些分数意味着什么就更难了——但我采访过的专家们对 METR 将新型评估纳入其工作表示认可。“我们已经到了 AI 评估需要变得更有创造力的阶段,”计算机科学家、即将入职 UC Berkeley 的教授 Sayash Kapoor 说。“尝试拓展评估空间的边界是一个可喜的变化。”

Kapoor 表示,看到模型在更开放式的任务上表现不佳,他并不意外,比如设计一项 AI 评估——在 8 月的一篇预印本中,他和合作者报告称,AI 模型尚不能独立复现人类的计算机科学研究。而在周三的一篇博客文章中,OpenAI 报告称,其模型在员工要求它们完成的现实世界任务上的表现,不如在 METR 原始任务套件中那些更简单、更可验证的任务上那么好。

不过,Kapoor 说,对于如何解读当前在易验证任务和难以验证任务上的表现差异,人们存在分歧。尽管他认为研究品味——即选择有前景的研究问题、假设和实验的能力——将被证明是 AI 研发自动化的一个主要瓶颈,但其他人主张,在易验证任务上训练的模型最终也能成功完成开放式任务。而在可验证任务上的进展似乎并未放缓。

即使模型目前在开放式任务上确实落后于人类表现,新报告表明它们可能正在进步。一些最新模型,例如 Opus 5.5,往往在评估设计任务上达到 METR 所谓的“勉强高于门槛”的表现——尚不能用于 METR 的研究,但前景可期。就在一年前,每个模型的得分都落在“明显低于门槛”的类别中。

但由于这些开放式、高度依赖判断的任务在设计 and 打分上如此困难,METR 在报告中收录的此类任务很少,这使得很难预测模型是否以及如何在这些领域继续进步。“我们观察到的改进,我认为它确实告诉了我们在当下的一些信息,”波士顿大学的语言学家兼计算机科学家 Najoung Kim 说。“我还不确定该如何思考它将如何外推。”

METR 技术团队成员 Matt Putz 表示,预测这类任务的进展很可能仍然困难。“就其本质而言,难以验证或充满判断的任务要难研究得多,尤其是难以量化,”他在一封邮件中说。“归根结底,我认为我们无法像对易于明确规定的[任务]那样,建立起同样清晰而稳健的趋势。”

总体而言,METR 显然正撞上在困难且规定不明确的任务上测试 AI 表现的实际困难——而这些恰恰是与 AI 研发自动化最相关的任务。METR 的时间跨度图通过评估人类完成任务所需时间来给任务难度打分,而在最初的图表中,他们是通过实际让人尝试每项任务来测量这一数值的。

然而,在新报告中,完成时间大多是估算值,因为付费让人完成可能需要数百小时、或只有少数专家才有资格完成的任务,成本高得令人望而却步,也太耗时。其他任务则有更具体的缺陷——例如,在哲学论证任务中,大部分论证只有一个人评分,而智能体是根据它们与这个特定个人的意见一致程度来评判的。如果调查更多专家,分数可能会改变——但那同样耗时。

文章标题:AI 领域最被误解的图表刚刚迎来重大更新

在难以验证或需要判断力的任务上评估模型,目前仍处于早期阶段。尽管我交谈过的专家认为,将这些任务纳入 METR 最新的时间跨度图显然是朝着正确方向迈出的一步,但他们一致认为,关于自动化 AI 研发是否可能到来、以及到来的速度有多快,我们距离任何确定性答案还很遥远。“这种转向开放式任务的举动是很有前景的,” Kapoor 说。但他补充道,“要真正获得更全面的理解,还有太多工作要做。”

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by MIT 科技评论
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗