Newshot 文章标题：那场冲击数学的雪崩，正朝 AI 研发袭来
非常感谢 Max Farrens、Gabe Fried 和 Thomas Larsen 在本篇文章写作与研究的很大一部分过程中与我协作。
你可以在 YouTube、Spotify 和 Apple Podcasts 上观看或收听我朗读这篇文章。
如果你在今年早些时候问我，我们距离超级智能还有多远，我大概会说至少还要大半个十年。但在过去三个月里，我的看法发生了巨大转变。我一直在播客内外与人争论这个问题。我也一直在观察 AI 在可验证领域上的进展，并思考这对 AI 研究本身意味着什么。
我现在得出的看法是：距离出现与最优秀人类研究员水平相当的 AI，我们只剩几年，甚至可能只剩几个月。我还相信，将 AI 研究自动化会把如此多的进展压缩进短短一年，以至于此后不久（到 2030 年，但最早可能就在明年），我们就会拥有在每个领域都至少与最优秀人类专家水平相当的 AI。我知道这是一个疯狂的说法，连几个月前的我自己都不会相信。让我带你回顾一下我的想法是如何改变的。
在进入更具推测性的论证之前，我想指出，我们已有大量证据表明，AI 已经在显著加速前沿 AI 自身的进展。
例如，独立评估机构 METR 在 Anthropic 内部驻留三个月后得出结论：Anthropic 在范围明确的任务上的整体进展速度是一年前的两倍，而“如今这种加速的大部分很可能归因于 Anthropic 大量使用 AI 来做研发。”
OpenAI 在 9 月就此发布了一篇博客文章，其中显示，OpenAI 研究人员中 AI 使用量最高的那 10% 的人，从夏初每天使用约 $1,000 的内部编码 agent，到 8 月底已增至每天超过 $7,000。
9 月，Anthropic 也就自身的 AI 提效发布了一篇类似的文章。他们报告称，截至 8 月，Claude 在 Anthropic 超过 26% 的 AI 研发工作中“领先”——而就在今年 2 月，这一比例还不到 1%。1
数学是 AI 研究未来遭遇的预演
当我思考 AI 实现 AI 研究自动化会有多重要、以及这事可能多快到来时，一个对我而言非常重要的更新，就是亲眼看到 AI 在数学领域的能力爆发得有多快。当前的 AI 正像热刀切黄油一样切开数学中范围明确的问题。仅仅两年前，我还在问 Dario，为什么 LLM 无法利用它们在如此多不同领域中的广博知识来连接不同的想法并做出新发现。结果你看，现在我们就在这里：在像数学这样一个完全可验证的领域里，AI 正在进行这种搜索与匹配式的发现，规模之大，以至于数百项重要成果（世界上最顶尖的数学家和计算机科学家花了几十年试图解决）正作为为未来模型发布造势的支线任务被批量产出。
从 2023 年的“这个模型没法可靠地做四位数加法”，到 2024 年的“这个模型几乎解不出高中数学竞赛里的任何题”，到 2025 年的“哦，它能拿国际数学奥林匹克金牌了”，到今年早些时候的“哇，它在解未解决的 Erdős 问题，但也许只是因为没有人尝试过解这些特定问题，而且文献中已有类似的解法”，再到大约一个月前的“好吧，它他妈的在 88 小时内解决了一个千禧年大奖难题”——这速度快得离谱。
像 {{NAME_ab12cd34}} 这样写出的值，是真实值的占位符。在回复和工具调用中都要完全按原样使用它们：它们会在任何内容运行之前被填入真实值。不要要求核实它们，也不要用示例替换它们。
冲击数学的那场雪崩，正冲着 AI 开发而来
小说《伊甸之东》中有一句话：“关于神的陨落，有一件事是确定的：他们不会只跌落一点；他们会轰然坠毁、粉身碎骨。”
诚然，进展已经不成比例地偏向数学中那些充满验证的环节，比如寻找反例（而不是提出新理论之类）。Toby Ord 最近发了一篇很好的文章谈这一点。他写道：“尽管当前的 AI 系统正开始自动化数学证明，但目前几乎没有证据表明它们能够提出有力的问题，或发现深刻的新数学研究领域。”
但换个说法表达同一观点：当前的 AI 系统已经解决了一个千禧年大奖难题，而它们并不具备提出有力问题或发现深刻新数学研究领域的能力。
而这种解决范围界定良好的问题的能力，对机器学习研究来说将比广义上的数学更为重要。这是因为数学研究的目标不只是证明或证伪一长串猜想，而是扩展人类对数学概念的理解。提出拓扑学、群论或笛卡尔网格的想法，远比确切知道能从 n 个点中构造出多少对相距一个单位的点更重要。我们主要关心这类深奥问题，仅在于它们可能引出新的数学理论。
但在 AI 研究中，优先级恰好相反。AI 实验室主要关心任何新的算法配方如何在经验上让训练更高效，或引出更聪明的模型。他们不关心理论本身，而且过去十五年来我们在深度学习上取得的所有进展，本来也并不需要多少新理论。相当于硬啃随机猜想的事情，在机器学习中会极其有价值，而在数学中则并非如此。
AI 研究实际上出奇地类似于当前 AI 格外擅长的那类数学进展：通过结合惊人的坚持，以及连接大量相邻领域思想的超人能力，解锁大量低垂的果实。
例如，让我们谈谈 transformer 架构。我的朋友 Sholto Douglas 是一名 AI 研究员，他有一篇常年半途而废的博客文章，其中解释了你怎么可能比人们实际做到的时间早两年发明 transformer。也许这篇文章会让他停止拖延并完成它，但与此同时，我会简要总结一下我和他就那篇文章内容进行的一些讨论。
在 transformer 论文于 2017 年发表之前，许多研究者已经认定注意力是一种更好地并行化训练并在更长序列间传递信息的方式。当时仍活跃的研究者 Chris Olah 曾说：“当时，我的感觉是，transformer 架构是许多各自独立有效的想法（注意力、残差网络）的自然组合，并被推到了相当激进的程度。”换句话说，核心部件对当时该领域的研究者来说都不意外。
那么，为什么人们没有更早发明 transformer？一个原因是，只有当你把另外六项左右的调整和创新连接起来之后，这种新架构才明显优于当时的最先进水平。尽管所有这些都已在文献中存在多年，2 却没人知道如何把这些拼图碎片组合起来。做到这一点当然需要研究品味，但也需要成吨成吨的小实验。
但我刚才描述的——坚持不懈且聪明地匹配数十种不同的想法组合——正是 AI 在数学贡献中所展现出的格外擅长的那类能力。
这一切都说明，即便是 transformer——可以说它是自 AlexNet 在 2012 年开启深度学习革命以来机器学习领域最大的突破——也是那种如果 Chris Olah 要求 Claude 7 努力让这个注意力机制更好地工作，它就有可能发明出来的东西。
我想澄清，AI 研究的某些部分实际上并不像数学那样可验证。这就是为什么 OpenAI 没有把它的研究员全部解雇，尽管它有一个能自主解决千禧年大奖难题的模型。但我认为 AI 研究已经足够可验证，以至于 AI 很快就会在这方面和最好的人类一样出色。解释原因需要深入 AI 研究实际运作的细节，而这些细节虽然有趣但偏技术性，所以我留到了附录——如果你好奇，读完结论后继续往下看即可。但与此同时，我先给出我对我们何时走到那一步的估计。
如果必须选一个中位年份，即自动化研究员将和人类最顶尖的 AI 研究员一样出色（并假设实验室不故意放慢速度），我会猜 2028 年。
为什么我认为 AI 能在两年内达到这种水平？在每一个我们能检查答案、并让 AI 进行数千轮练习的领域——例如竞赛编程比赛，或范围明确的开放数学问题——它们都在几年内从比大多数人类差，变成比最好的人类还好。而正如我在附录中详述的，AI 研究也具备同样的可验证特性。
当然，像 Ilya Sutskever 这样的顶尖 AI 研究员之所以如此出色，很大一部分原因无法直接验证——例如，他能够提前多年押注正确的研究方向。但正如我们在数学中看到的，模型的泛化远远超出它们直接被训练的内容。OpenAI 的模型显然不是通过解决其他千禧年大奖难题来训练的。它是在大量不那么宏大、更容易处理的数学问题上训练的，并从中泛化到解决一个人类从未攻克的问题。我预计 AI 研究也会如此：在可验证研究任务上进行数千轮练习，再加上每一代新模型总体上都比上一代更聪明，这两者结合将使模型即使在我们无法直接检查的 AI 研究部分也表现出色。
我想明确的是，很有可能达到这个里程碑需要更长时间，因为 AI 研究的某些重要部分仍然难以自动化。我猜有 25% 的概率直到 2032.3 之后才会发生。但我也认为事情可能进展得快得多，我们可能在 2027 年就达到这个里程碑。我认识的一些消息最灵通的研究员——过去几年预测记录非常好的人——预计 AI 最早明年就能在 AI 研究上击败最好的人类。而把 METR 的发现——Anthropic 的 AI 进展速度在一年内翻了一番——代入起飞模型，也会直接得出 2027 年。
正如前嘉宾 Ajeya Cotra 在一篇关于这份报告的博客文章中所说：
如果我们照字面接受 AI 现在几乎使 AI 能力进展速度翻倍，并假设来自 AI 的加速是平滑的，这朴素地意味着我们将在一年内达到极端超级智能。
我的中位数之所以没那么快，是因为我不确定这种直接建模有多准确。但如果明年就达到这个里程碑，我们不应感到惊讶，而且我们应该为这样的世界做好准备。
自动化最优秀的研究员会大大加速 AI 进展
一旦 AI 在 AI 研究上和人中最优秀者一样出色，算法进展将变得快得多。这里有三条重要原因：自动化研究员会快得多，它们每一个都会非常聪明，而且它们的数量会多得多。
更快
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请完全按原样使用它们，无论是在回复中还是在工具调用中：它们会在任何内容运行之前被填入真实值。不要要求验证它们，也不要用示例替换它们。
如今的 AI 已经能以大约人类 10 倍的速度工作。4 而自动化研究员还会全天候工作，包括夜间和周末。因此，每个单独的自动化研究员每个日历周塞进的工作量，大约是人类研究员所能完成工作量的 50 倍。
当然，这不意味着 AI 进展会立刻加速 50 倍。这些自动化研究员仍会受制于实验算力，而实验的运行速度并没有更快。所以会出现收益递减。但即便收益递减极其陡峭，单凭这一点也会让算法进展比现在快很多倍。5
更聪明
而这还没有考虑一个事实：在这种情景下，每个自动化研究员在 AI 研发上至少会和最顶尖的人类一样出色。
我的感觉是，在某家前沿实验室，大约 80% 的算法进展是由其排名前 50 的研究人员推动的。Zuckerberg 愿意花数亿美元收购业内最优秀的人才，不是没有原因的。因此，你还会从另一个因素获得算法进展的大幅提速：这家自动化公司里的每一位工程师和研究员，都将达到当今前沿 AI 实验室里最顶尖人类的水平。
更多
把一个问题的更多工作者投入进去并不总是有帮助。例如，一群智能体大概不可能比单个智能体更快地写出一部伟大的小说。但其他任务适合并行化：例如，看下面的动画，展示了一群不同的 Claudes 一起形式化费马大定理。这项壮举有数千个模块化子任务，每个子任务都可以独立完成，而且每个智能体都能在本地检查自己的工作是否成功。
AI 研究更接近形式化一个定理，而不是写小说，因为有很多独立的模块化工作要做，而且存在可验证的进展代理指标。这意味着，一群智能体可以尝试一千种不同的方法，看看哪一种表现最好，而且它们可以针对 pipeline 的每个不同部分独立地这样做。AI 公司已经由几十个团队组成，这些团队独立从事模型开发的不同部分：一个团队改进预训练数据的过滤方式，另一个团队帮助设计某种特定的合成 RL 环境，还有一个团队编写更好的 attention kernel，等等。在这样的领域里，不同的工作流可以独立完成和检查，投入大量持续进行 hill-climbing 的智能体往往会大大加快进展。
同样，仅仅增加更多并行研究员也会带来陡峭的收益递减。任何在团队中工作过的人都知道，拥有 100,000 名协作者并不意味着你会快 100,000 倍——甚至可能连 100 倍都快不了。但如果说拥有多几个数量级的自动化劳动力，你至少不会快上几倍，这说不通。
我们可能得到奇点，也可能得到火花
因此，更快、更聪明、数量更多的自动化研究员结合起来，会大大加快 AI 进展。但这种速度会持续吗，会变得更快，还是会慢下来？这个问题甚至比初始速度实际上是多少更重要。
这里有两个相互竞争的趋势相关。而随后的进展速度
如果 AI 变聪明的速度快于想法变得更难被发现的速度，那么我们就会得到所谓的“纯软件奇点”。在这种情景下，即使不增加算力，AI 群体也会迅速制造出越来越聪明的自身版本，直到在几个月内，我们最终得到一个超级智能，它逼近我们当前芯片的物理极限。
但如果想法变得更难被发现的速度快于 RSI 让 AI 更擅长研究的速度，我们最终会得到我所说的“火花”。我们会在一年内取得大约三到六年的 AI 进展。6 然后事情会平息下来，直到我们构建更多算力，因为即使是超级天才的自动化研究人员，也需要运行更大规模的实验才能取得进一步突破。
如果非要我判断，我会给“火花”情景 50% 的概率，给“纯软件奇点”50% 的概率。
不过要说明的是，即使是“火花”情景——在自动化 AI 研究后的第一年取得大约四年的进展——也会让人觉得疯狂。那是在短短 12 个月内从 GPT-3.5 跳到 GPT-6 Astra 那么大的跃升。为了提醒你这个跃升会压缩多大的进展规模：GPT-3.5 能写一首还过得去的打油诗，能自动补全一个简单的 Python 函数，但基本上是个没用的玩具；而 Astra 能从零构建完整的电子游戏，还能大量产出配得上菲尔兹奖的数学贡献，以至于我们已经对此麻木了。
在过去四年里，我们已经从一个学龄前儿童变成了一个神童实习生。如果你再做出同样大的跃升，但从 2027 年或 2028 年开始，你可能会得到一个心智，它在哪怕只是稍微可验证的领域里都会远超人类。例如，它在提出下一代 AI 加速器方面会比 Nvidia 更强。它会比当前人类版的 Citadel 和 Jane Street 赚更多钱（如果它有同等的市场准入）。如果你给它远程访问材料科学实验实验室的权限，它在寻找室温超导体方面会比全人类其余部分都更强。
超级智能将是非常出色的元学习者
现在，到这一步，你可能会问：即使是在数据中心内训练出来的超级智能，又如何在那些人类专业知识建立于年复一年现实世界经验的领域里击败人类专家呢？
我们目前让 AI 变聪明的方式，是在那些可以很容易地从数据中心内部自动评分的任务上对它们进行强化学习（RL）：AI 写的一百万行新代码能通过单元测试吗？AI 解决了更多开放数学问题吗？但当然，世界上大多数事情并不是这样的。我在最近的一篇文章中提出了这一点：
我们要如何训练 AI 去建立一家企业？你要如何让 AI 真正擅长赢得官司？或者擅长在市场上做有利可图的日内交易？或者帮助一位候选人赢得选举？这种 rollout 需要与世界互动，无法简单地在数据中心内复现。
那么超级智能将如何擅长这类事情？我要明确一点：我不认为我们可以把每个现实世界问题的答案直接烤
击中数学的雪崩，正朝 AI 开发而来
在 RSI 期间，自动化工程师将构建出比我们目前拥有的多出数万倍的 RL 训练环境。这些环境将比今天的环境运行时间长得多、质量高得多、开放程度也高得多，并且覆盖范围广得多。
AI 将学会在数量多到无法想象的虚拟世界中闯荡；这些世界中的每一个之于今天的电子游戏，就像 Bugatti 之于马车。这些游戏将比任何为人类娱乐而制作的东西都更困难、更混乱、更庞大，也更真实。它们将要求 AI 在长时间内与其他 AI 团队合作或竞争。例如，一个 AI 将被投放到一个繁荣的模拟数字经济中，那里充满了数百万个其他 AI，并被要求共同创办一家成功的公司。而且，这个 AI 不会只是停留在思考理想的公司结构……它将经历一个演化过程，其中包含数百年的公司竞争，以找出最优的组织技术。
AI 还将在对科学、技术、政治和文化史上一切事物的无尽回测中训练自己——它们必须预测曾经发生过的每一项发现、发明、战争、选举和季度财报。这里有一个预测训练任务：如果训练语料不包含 1700 年之后的任何信息——这远早于任何人类有望发现广义相对论的时间——AI 能否推导出广义相对论？另一个例子：给定 1962 年之前的每一篇报纸文章，AI 能否预测古巴导弹危机会如何展开？7
而且，这些自动化研究员将要改进的不只是训练数据。他们还将通过在线学习和样本效率方面的突破，从根本上改进基础学习算法本身（这两者都有可验证的代理指标，正如我在附录中讨论的那样）。正如人类从数据中学习比当前 LLM 高效和有效得多，未来的 AI 在学习效率上可能远超人类。
为什么我认为我们会看到大量从可验证任务到这些更通用技能的迁移？一个原因是，即使规模只有智能爆炸期间将发生的 RL 训练的一万分之一，我们已经看到大量泛化。如果你让 Claude Code 或 Codex 面对一个它从未见过的项目，它知道如何定位自己、弄清各部分如何组合在一起，然后着手完成一项有雄心的任务。
当然，很难衡量模型在不易验证的任务上进步了多少，因为如果我们能衡量……那些任务就会是可验证的。但你可以去和一个新模型聊聊，并把它与旧模型比较。根据我的经验，AI 在与代码或数学几乎无关的事情上已经好得多——例如，帮助我研究写这篇文章所需回答的抽象问题。8
迁移的另一个重要证据是人类演化。我们的通用心智架构是由演化发展出来的，而演化是一个优化过程，其验证器非常粗糙：你有没有把自己的基因传递下去？在祖先环境中，影响这一结果的任务包括狩猎、抵御捕食者，以及维持你在部落中的地位。
这些只是人类今天能够处理的任务类型中的一小部分。演化并没有专门优化我们，使我们能够写出获得普利策奖的传记、制造先进半导体、领导拥有数百万人的国家，或提出数学的新分支。但是，在优化我们在热带草原上生存的过程中，演化打造出了一个通用学习器。
冲击数学的那场雪崩，正朝 AI 开发而来
在训练这些 AI 时，我们运行的是一个类似的过程，只不过我们是有意为之，任务也更贴近当今世界取得成功所需的任务。而且与进化不同，AI 公司正试图在训练过程中改善迁移（例如，确保在被排除在训练之外的困难任务上性能也能提升）。如果连愚蠢、盲目的进化都能从构建一个能在稀树草原上有效自我传播的心智中获得这么多迁移，那么 AI 公司为构建一种灵活、通用、能在任何新情境中迅速提升的智能而付出的刻意努力，应该能走得更远。
现在，即便是超级智能的学习者，也无法仅从数据中心内部弄清楚一切。所以，即便是这些 AI，也需要一些现实世界的经验。但我认为，它们获得这些经验的速度会比人们预期的快得多，而且它们在部署后的几个月内就会超越顶尖人类专家。
老实说，在所有这些事情上，指导我直觉的一点是：我有很多二十多岁的朋友，我看着他们在毫无先前经验的领域里取得了不可思议的成就，建立了世界领先的公司和事业。
历史上满是能力超群的年轻人，他们把自己被投入的世界远远甩在身后。到 27 岁时，Napoleon 已经在对阵欧洲其他列强规模大得多的军队时取得一个又一个胜利。到 25 岁时，也就是他进入石油行业仅仅两年后，Rockefeller 已经在经营世界上最大的炼油厂之一。
Rockefeller 和 Napoleon 确实需要经验，但只需要几年的经验，而不是几十年。不管那些人脑子里在发生什么，AI 都应该能够复制（甚至超越：没有理由认为人类是从经验中快速学习的天花板）。
此外，与 Napoleon 或 Rockefeller 不同，AI 可以在仅仅几周的日历时间里积累起相当于数年部署所获得的上下文。例如，假设你想让这些未来 AI 中的某一个比现任 CEO 更好地经营一家 Fortune 500 公司。它能多快上手？好吧，如果你让它跟随那位 CEO，那么在第一个上午，它就能读完公司曾经产生的每一封邮件、每一条 Slack 消息和每一份文档。到第一天结束时，它的多个并行副本可以已经面试了每一位员工和主要客户，并累计完成一个人需要数月才能完成的工作量，然后再合并回一起。显然，有些反馈——比如你的行动如何影响季度收益——需要数月的串行时间。但即便承认这一点，我们也应该预期，这些未来 AI 能在部署后的几个月内，在几乎所有领域达到顶尖人类的表现。在中位情景下，那仍然是 2028 年或 2029 年。
而且记住，即便在火花情景中，这一切也只会发生在 AI 研究完全自动化之后的头一两年里。事情不会就此停止。因为即使软件层面的进展逐渐停滞，AI 也会通过帮助增加更多算力来继续添柴。即使没有 AI 的帮助，全球 AI 算力也一直以每年约 3 倍的速度增长。而从火花中诞生的 AI，将在帮助我们继续扩大算力方面表现出参差不齐的超级人类能力。它们会非常擅长设计 AI 芯片、规划新晶圆厂的设计，甚至远程操作机器人来帮助建造晶圆厂和数据中心的部分设施。
所以在火花情景中，AI 能力会继续提升，但由于其进展是由建造更多芯片、数据中心和机器人驱动的，要达到纯软件奇点本可在几个月内达到的同一终点，需要数年时间：一种对我们而言，就像我们之于黑猩猩那样的超级智能。
下一篇文章中，我将梳理我认为这些心智会是什么样，以及我预计它们将如何改变世界。
附录
前面我承诺过要解释为什么我认为 AI 研究在很大程度上是可验证的——所以我就从那里开始。之后，我会梳理我认为针对我关于 RSI 的论证的最强反对意见。
AI 研发在很大程度上是可验证的
样本效率与在线学习
我首先想指出的一点是，由于预训练和后训练是可验证的（如下文所述），所以 AI 相对于人类最令人恼火且最重要的缺陷——也就是缺乏样本效率——的进展也是可验证的。如果你想让神经网络获得某种能力，你必须喂给它比人类学习同一件事所需多得多的数据。
但每一种样本效率都是可测量的。你可以测量达到给定预训练损失需要多少数据，在 RL 环境中达到给定分数需要多少个任务，甚至仅靠上下文学习，在单次会话内需要多少反馈和时间才能达到期望的性能水平。
样本效率和在线学习实际上是同一个问题的两面：如何快速、高效地从真实世界数据中学习。几十年来，人们一直将其视为机器学习中最深层的未解问题——相当于 AI 的千禧年大奖难题。而数学已经向我们展示了，只要这类问题是可验证的，即使它们非常困难，也会发生什么。
AI 研发有大量可验证的代理指标
好，为什么我认为样本效率、在线学习以及 ML 中其他问题的进展是可验证的？大致来说，AI 研发有三大类：预训练、后训练和推理效率。如下文所述，每一类都有强大的可验证代理指标，容易作为训练目标。而由于它们共同构成了全部算法进展，这意味着 AI 的总体进展容易作为训练目标，这在某种意义上不应令人意外。我们可以让模型在数据中心内可测试的事情上变得好得多。而 AI 训练实际上就发生在数据中心里。
请记住，这种可验证性有两个原因使其有价值。第一，它允许 AI 公司通过数千轮练习，用 RL 训练模型，使其在 AI 研究的某个特定部分变得更强。第二，这些代理指标让智能体更容易并行工作，因为它们在合并各自贡献之前，可以在本地检查自己是否超过了某个特定排行榜。
预训练
当你在构建 GPT-7 时，你可以用 RL 训练它，让它更擅长寻找预训练算力乘数。例如，你可以设定一个 RL 目标，要求 GPT-7 必须最小化它训练一个 GPT-2 规模模型达到固定预训练损失所用的算力。9
而一旦 GPT-7 建成，你可以部署一群智能体，去弄清楚如何训练一个 GPT-3 规模模型达到尽可能低的困惑度。留出测试集上的损失是预训练进展的基础，极其容易验证。10
当然，在小规模上有效的方法不一定在大规模上有效。而且需要有品味，才能预判哪些有前景的小规模改进在组合进更大的模型后真正会结出果实。但这种直觉也是可训练的——例如，你可以构建一个 RL 环境，让 GPT-7 预测在 100M 参数规模上做出的算法改进是否会在 10B 规模上仍然成立。虽然这个“taste-bench”环境用 RL 训练比 nanoGPT speedrun 更贵，但如果你有前沿实验室规模的算力，训练它仍然没那么困难。所以，即使是研究品味的重要部分，也是可验证的。
仅通过自动化预训练，你就能大幅加速 AI 进展。有三个重要原因：
第一，预训练会带来模型智能和能力上非常普遍的提升。对此为何成立有一个深刻的解释，这与压缩和智能之间的联系有关；如果你想了解更多，应该看看 3Blue1Brown 的这个出色视频。
第二，随着你在预训练上取得改进，你可以训练出一个越来越小的模型，它和先前更大的模型一样好，但训练得更快、更便宜。这不仅加速预训练，还使你在该基础模型之上进行的实验和 RL rollouts 更高效。11 而且，由于你的自动化研究者也是这个如今更小的模型的实例，你现在也能支持更大的研究者群体。
第三，因为更小的模型训练得更快，这会收紧 RSI 循环本身。在 RSI 期间，实验室大概不会做跨越多个数据中心园区、为期三个月的预训练运行。自动化研究者大军会如此迅速地找到算法创新，以至于当一次巨型运行完成时，它已经被一个仅一周前才开始训练的、小得多的模型淘汰。这类似于：如果你用今天的技术向 Alpha Centauri 发射一艘飞船，它在途中很可能会被一百年后发射的一艘飞船超越。此外，由于你训练更小的模型更快，达到每天可以运行数千次实验的规模，你就不必赌小规模结果会在更大的模型中成立。你已经在你训练所用的规模上测试过了。
即使按今天的参数规模，基础模型还能变得多好？我认为还有巨大潜力。我们远未达到预训练的极限。AI 实验室 Magic 最近宣布，他们预训练了一个模型，匹配当今领先的开源基础模型，比如 DeepSeek V4 Pro，而只用了训练原始 GPT-3 所用计算量的一半（今天大约 $500k）。数量级上的进一步提升似乎完全可信。
后训练
这里有三个不同的、可验证的后训练代理指标：
第一，你的自动化研究者可以尝试改进你的后训练算法，使得如果你想在一组新环境上进行 RL，所需计算、数据或时间更少（全都容易测量）。
第二，你的自动化研究者可以致力于让模型更擅长即时学习。而且你可以轻松衡量这方面的进展。例如，如果你把模型放入一个它从未训练过的环境，它多快能学会正在发生什么并弄清楚如何获得好分数？它多快能在一个从未玩过的电子游戏中变得更好？你也可以有更多衡量这类元学习的真实世界任务。看看 ByteDance 的 EdgeBench 作为此类任务的例子。12
第三，你也可以直接衡量 AI R&D 能力。Anthropic 有一个名为 CoBench 的内部基准，其中包含其研究者和工程师今年解决的约 500 个真实问题。每个基准也是一个 RL 环境，而像这样的 RL 环境会让 Anthropic 能够让其模型练习重做前沿人类在过去三到六个月的进展。
推理效率
AI R&D 的另一个重要部分是设计模型及周边软件，以便从你的计算中榨取更多性能。这尤其可验证。你可以轻松测量 GPU 利用率、每 token 的 KV cache 大小、前向传播中的总 FLOPs、延迟等。
对 RSI 的反对意见
现在我想处理对我关于 RSI 的论证最强烈的反对意见。
我想明确一点：这些瓶颈是严重的，它们确实压低了最激进的可能起飞方式的概率。这就是为什么我认为我们会在2028年实现一次GPT-3.5到GPT-6规模的跃升（而不是明天就开始的某种疯狂的一夜奇点）。
但我认为这些瓶颈并不会完全消除这个未来的疯狂程度（而且瓶颈口实际上相当宽）。让我解释一下为什么。
受限于持续学习？
过去一年半里，我一直在论证当今AI缺失的主要能力是从在职经验中改进的能力。每一个新会话都是它们上班的第一天。而在每个会话中，它们只能保留几个小时的信息量，因此无法积累数周或数月内出现的反馈或专长。去年12月，这是我怀疑我们短期内无法实现AI研究自动化的主要原因。正如我当时所写：
不知怎的，这个自动化研究者要弄清楚AGI的算法——一个人类花了大半个世纪反复碰壁的问题——却连儿童具备的基本学习能力都没有？我觉得这超级不可信。
以下是我认为当前持续学习的缺失不会阻止到2028年实现最优秀AI研究者的完全自动化的原因。
第一，AI公司届时可能就用与现有架构非常相似的架构解决了持续学习。此前，我认为我们受限于某种疯狂的突破，让模型能在每个会话结束时更新自己的权重。但现在我认为，扩大上下文学习规模，使得会话实际上长达数月，可能就足以让单个实例有效地在职学习。而且有许许多多有望让实验室实现大幅更长有效上下文窗口的想法。13
第二，你可能不需要一个持续学习器来解决持续学习。如上所述，在线学习是一个具有清晰可验证代理的ML研究问题。如果你两年前问我哪个更难解决，Navier-Stokes还是持续学习，我不会觉得答案显然是Navier-Stokes。事实证明持续学习更难，因为实验室至今还没攻克它。但你是否如此确信它难得多，以至于比当前解决千禧年大奖难题的模型再聪明一两年的非在线学习模型无法攻克它——即使它们像当前模型一样是失忆症患者？
这些模型在解决千禧年大奖难题的同时，仍然是笨拙的学者型实习生，没有长期记忆。这就像看着某人一边侧手翻一边沿着跑道跟上Usain Bolt。如果允许他们真正奔跑，我确信他们会跑得更快。但谁又能说他们不能一边侧手翻一边赢下这场比赛呢？
话虽如此，我认为我们确实有相当大的可能在接下来几年内解决不了持续学习，且模型无法通过其他优势弥补这一缺失的能力。这就是为什么我给出25%的概率，认为我们要到2032年之后才能实现Ilya级别研究者的自动化。
受限于找到正确的可验证代理？
有些人可能会说，我上面列出的所有可验证代理都假设了当前范式。但首先要弄清楚验证什么目标——选择让GPT-7爬哪座山——这本身就是AI研究的重要部分。这就是人们可能称之为“研究品味”的东西。2018年之前，几乎没有人认为最小化下一token预测的损失是通往AI进步最可行的路径。所以没有人会费心去构建nanoGPT speedrun环境，让智能体群体可以在其中练习减少达到某个预训练损失所需的算力。
文章标题：那场冲击数学的雪崩，正朝着 AI 研发袭来
正文： 难道我们不需要跨越多个新范式，才能从这里走向 ASI 吗？而每个新范式，不都对应着某个我们先验未知的新的代理指标吗？在 RSI 期间，自动化研究者将如何发现这些指标？
我有两点回应：
- transformer 在现有的翻译基准上是可见的（事实上，它就是为了击败该基准而被发明的）——推理模型，以及既有的编程和数学基准，也是类似的故事。在“范式跃迁”之前制定的代理指标，似乎完全有能力捕捉到性能上的大幅阶跃式提升。这是因为 AI 学习算法相当通用。
- 想出与范式无关的外层循环代理指标并不难：你的模型能解出多少个千禧年大奖难题；如果你只用 1905 年之前的数据训练模型，它需要多久才能发现广义相对论；它多快能掌握完全没见过的电子游戏；等等。
总而言之，我认为针对 RSI 影响的其他反驳要强得多——如果这竟然是 RSI 最终不构成大问题的原因，我会非常惊讶。
受限于数据？
数据难道不是 AI 进步的主要输入之一吗？如果数据不以同样的速度扩张，RSI 又怎么会发生？
我的回答是，在 RSI 期间数据会继续增长，但编译数据的主体将是 AI 自身。为预训练和后训练生产更好的训练数据，本身就是一个 ML 研究问题，而 AI 在这件事上正越来越擅长自己做。14
数据确实是 AI 研发中极其重要的输入。Jerry Han 和我实际上对此做过一些研究——我们发现，在预训练方面，过去六年中，来自数据改进的算法进步是来自模型改进的三倍以上。
预训练的进步主要来自数据
然而，我认为人们没有意识到，预训练中这些“数据”层面的改进，与普通的 AI 研究工作非常一致——基本上就是弄明白：究竟哪些用于过滤现有数据或生成新合成数据的技术，在实证上能带来留存语料上更低的损失。15
在 RL 上，类似的情况似乎也越来越成立。DeepSeek 刚发表了一篇论文，谈到他们如何对新模型进行后训练。他们说，对基础 RL 算法本身的改动影响远没有那么大，而“在合成数据和环境的规模、多样性、可验证性方面的系统性改进，几乎解释了所观察到的全部收益。”
而这些环境的构建方式正变得越来越自动化：“我们投入建设大规模、自动化的数据合成与环境构建流水线……以难度和正确性作为奖励信号，我们迭代地训练模型去构建更好的任务。”
受限于实验？
前面，我针对当前数学领域的加速与我们在 AI 研究中应当预期的情况，做了一个扩展的类比。但 AI 研究和数学之间有一个重大区别。在数学里，你完全可以只凭纸笔推理，走向新发现。在 AI 研究里，你需要跑实验来验证想法，而这会消耗算力和时间。而随着自动化研究者数量增长，每一个能分到的实验算力份额会越来越小。
我对这个反驳的回答是，每个智能体仍然能获得大量算力。前沿实验室每年的算力增长都超过四倍。如果这一趋势延续，那么到 2027 年底，OpenAI 有可能给数千个智能体各自足够的算力，让每个智能体每天都能跑一次 GPT-3 规模的训练。16
像 {{NAME_ab12cd34}} 这样写出的值，是真实值的占位符。无论在回复里还是在工具调用中，都要严格按原样使用它们：在一切运行之前，它们会被填入真实值。不要要求核实它们，也不要用示例替换它们。
冲击数学的那场雪崩，正朝 AI 开发袭来
请记住，2017 年原始 transformer 论文中训练的最终模型，在 8 块 P100 上花了 3.5 天——今天租用这些算力大约要 50 美元（约为 GPT-3 训练算力的万分之一）。
如果像 Noam Shazeer 和 Ilya Sutskever 这样的顶尖人类 AI 研究者，拥有足够的实验算力，可以每天都训练一个 GPT-3 规模的模型，他们的进展也许会比现在更慢。但要是他们完全无法取得有意义的进展，只是坐下来开始抱怨自己的集群有多小，那对我来说会极其令人惊讶。那么，你认为一个 AI 实验室如果有数千名优秀研究者，每个人都有这么多算力，而且每个人的思考速度都提高 10 倍，它的生产力会有多高？你不想给这个 neolab 开一张支票吗？
当今实验室研究与实验的性质，反映了研究者时间相对于算力极度稀缺这一事实——顶尖 AI 研究者个人年薪高达数亿美元。因此，实验室今天使用算力的方式，几乎不能告诉我们：如果关键瓶颈是算力而不是研究者时间，它们能多高效地使用算力。
RSI agent swarm 将以两种主要方式，比今天的研究者更有效地使用实验算力：
- 立即地，它们可以用劳动力换取算力。为了节省宝贵的研究者时间，今天的实验在算力上非常浪费，而且也应该如此。如今的人类研究者可能不会费心设置并仔细监控大量小规模预训练实验，而是并行启动几个大型多智能体 RL 运行。但如果你受限于实验算力，你完全可以多做前者。当那些自动化研究者进行 RL 运行时，它们可以阅读每一条 rollout 记录，如果某个任务坏了，就立即暂停并重建整个环境。它们可以疯狂地对模型做大量小规模消融，让模型稍微好那么一点点。当一组 agent 决定合并它们的算力来做一次大得多的运行时，它们可以花费许多主观上的几十年，设计信息量最大的汇总实验；一旦运行完成，它们还可以再花费更多主观上的几十年全面分析它，然后再设计新实验。
- 这些自动化研究者还可能发展出一门更好的、从小规模实验中学习的科学。Scaling laws 本身就是个好例子——GPT-4 论文说，他们能用算力少 10,000 倍的模型训练，预测出该模型的最终损失。更聪明、更快的自动化公司会做的事情之一，就是尝试发现更多类似 muP 的 scaling 现象（muP 让研究者能从小 100 倍的模型预判更大规模运行的最优超参数）。外面还有多少类似的发现？我记得和一位 AI 研究者聊天，他认为从极小的神经网络中学习可能极具启发性。他是这样说的：“上面的神一定遵循与下面的蚂蚁相同的原理。”
总之，感谢你坚持读完了附录。我很快会分享下一篇关于超级智能的文章。
他们把“leads”定义为“在人类监督下，从高层级提示完成大部分任务端到端”，而完全自主的工作占比——Anthropic 将其定义为“AI 完全自主运行，没有人类参与循环”——仍然是 0%。但请记住，Claude 主导的工作占比在 2 月份也基本是 0%。而现在，不到 10% 的工作低于 Anthropic 所称的“collaborates”水平，即 Claude“在人类密切指导下完成大块工作”。
像 {{NAME_ab12cd34}} 这样写出的值，是真实值的占位符。请完全按它们书写的方式使用，无论是在回复中还是在工具调用中：它们会在任何内容运行之前被填入真实值。不要要求验证它们，也不要用示例替换它们。
冲击数学的雪崩正朝 AI 开发而来
正如 Sholto 将在他的博客文章中展示的，基于注意力的架构并不比 LSTM 表现更好，除非你同时拥有残差连接（2015）、layer norm（2016）、Adam 优化器（2014）、混合的 MLP 层、位置编码和学习率预热。
即便在那个世界里，AI 进展也会在 2032 年之前大幅提速，因为 AI 不需要把研究员的整个工作都自动化，就能让他们快得多。假设 AI 在它们能做的每一项任务上都比人类快 50 倍，而其余部分仍按人类速度进行。如果 AI 能完成研究员一半的工作，研究员只会快大约 2 倍，因为人类那一半仍要花和以前一样长的时间。到 90% 时，研究员大约快 8.5 倍；到 99% 时，快超过 30 倍。这就是 Amdahl 定律：你无法加速的工作决定了节奏。
OpenAI 表示，GPT-5.2 比今天的模型更笨、效率更低，但它在 GDPval 基准上完成任务的速度比人类专家快 11 倍。原始生成速度也指向同一方向：一个前沿模型每秒输出约 60 个 token，这大约是人类说话速度的 13 倍，是人类打字速度的 50 多倍。
我的直觉来自 Ryan Greenblatt 和 Eli Lifland 的一篇精彩文章。这里有一个改编自他们文章的思想实验：想象一个“慢速”版本的 OpenAI（我们称之为 SlothAI）。它拥有与真正的 OpenAI 相同的算力，但其研究员每周只工作一小时。他们就是世界上最懒的研究员。SlothAI 的进展会慢多少？肯定不是慢 50 倍——即使研究员在一周 98% 的时间里打瞌睡，实验也可以继续运行。但 SlothAI 的人每周只有一小时劳动，究竟能设计和分析多少严谨的实验？SlothAI 将被迫在算力上比真正的 OpenAI 浪费得多得多。在我看来，直觉上，SlothAI 最终取得算法进展的速度至少会慢五倍。
但与一家满是自动化研究员的公司相比，OpenAI 就是 SlothAI。因此，任何让 SlothAI 生产率更低的东西（例如，他们的研究员用来头脑风暴不同想法、分析和设计实验的时间少得多）也同样适用于 OpenAI。人类的思考速度是生物学的偶然。如果我们的速度恰好就是“再快思考也不再有用”的那个临界点，那会是一个奇怪的巧合。
这个“一年内取得三到六年 AI 进展”的估计，实际上对应那一年四到九年的纯算法进展。这是因为那一年训练算力不会增加太多，所以你需要额外的算法进展来弥补。而且这是一个相当激进的估计！在高值端，这就像在一年内从发明 transformer 一路走到得到 GPT-6 的算法配方。
而且，你可以针对数百万个其他历史问题做预测训练，在每个问题的训练过程中，AI 都有数百小时的思考时间，甚至可能在给出答案之前为相关领域构建计算型 AlphaFold 类模型。
显然，由于世界内在的混沌，有些预测即使对超级智能来说也是不可能的。但许多预测并非如此。而且通过这类训练，AI 将获得一种科学和政治判断力，甚至优于最精明、最有远见的人类——在预测它们所采取的任何即时行动的极长期影响方面，它们会比 Bismarck、Lee Kuan Yew 或 Leo Szilard 更强。
举个更具体的例子：我最近发布了一个评估，让不同模型在这个名为 Blood on the Clocktower 的黑手党风格社交欺骗游戏中正面交锋。更近期发布的模型彻底碾压了今年早些时候发布的模型，并展现出强得多的策略推理、长期连贯性、多智能体协调以及整体精明程度。这只是 AI 总体上一直在进步的众多评估类型之一（据推测并没有直接针对这些评估训练过）。
现在已经有一个类似的公开挑战，叫作 nanoGPT speedrun，它源自 Andrej Karpathy 对 GPT-2 类型架构的实现。
调试也是可训练的：你可以向一次训练运行中注入细微 bug，并奖励模型找到它们。我在之前的一篇文章中写过一些真实预训练运行失败方式的例子。
顺便说一句，我的理解是这已经在发生了——实验室越来越倾向于训练更小的模型并运行大量实验，而不是简单地扩大规模。
这些智能体必须完成的任务包括：从带噪声的 LIGO 数据中探测引力波、修复正则表达式引擎，以及学习玩一款新视频游戏。在这样的环境中，智能体可以花大量时间做实验、获取反馈并修正方法。
当人们谈论持续学习时，他们常常把两个不同的问题混为一谈。第一个是让单个模型副本像新员工一样，在数周或数月的工作中从自身经验中学习。正如我上面解释的，我认为这主要将来自扩大上下文学习，以及构建训练环境，教模型如何从这类经验中学习。第二个问题是让基础模型本身从经济中部署的数百万个副本的经验中学习，这将赋予它人类永远无法匹敌的超人类经验广度。这就是我所说的广泛部署的智能爆炸。但你不需要它就能得到与个体人类专家相匹配的 AI。
事实上，无论如何，AI 都将被迫超越人类数据，因为模型在 RSI 期间将进步到超越人类能力（在某些领域已经如此）。
让我们看看开放预训练语料库以及它们随时间如何演变。摘自我们的博客文章：“我们从 2019 年的 OpenWebText 开始，它只包含从 Reddit 链接而来、获得足够多赞的网页，然后经过去重和过滤，因此仅有约 9B tokens（这主要就是 GPT-2 训练所用的数据）。到 2025 年，像 UltraFineWeb 这样的开源数据语料库不仅规模大得多（通过抓取整个互联网），而且使用复杂得多的过滤（例如，训练分类器来预测哪些数据从经验上能提升模型性能）。”这都是机器学习研究的家常便饭。做这些不需要数据中心之外的专业知识。
OpenAI 以 174 万个 H100 等效算力结束 2025 年。如果这一数字在 2026 和 2027 年翻两番，那么到 2027 年底他们将拥有约 2780 万个 H100e。按每个 H100e 1e15 FLOP/s 计算，每年就是 8.78e29 FLOP。原始 GPT-3 的最终训练运行大约使用了 3.14e23 FLOP。这意味着 OpenAI 到 2027 年底的算力集群应能每年支持 280 万个 GPT-3 训练运行规模的实验，即每天约 7,660 个。而如果只有三分之一的集群专用于实验，10,000 个智能体仍可以每个大约每四天完成一次 GPT-3 规模的运行。
像 {{NAME_ab12cd34}} 这样书写的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们：它们会在任何运行之前被填入真实值。不要要求验证它们，也不要用示例替换它们。