Newshot

AGI之后是什么?

Translation(model translation, not the source's own text)

文章标题:AGI 之后会是什么?

几十年来,AI 研究一直聚焦于一个里程碑式的目标:构建通用人工智能(AGI)——即几乎在所有认知任务上都能与人类匹敌的机器。人们始终清楚,从原则上讲,智能可以超越人类水平,但 AGI 的前景曾经遥不可及,且本身充满大量不确定性,因此思考 AGI 之后的事情显得为时过早。

如今 AGI 已触手可及,我们不能再推迟认真思考接下来会发生什么。尽管远非确定,但 AI 可能会以当前的速度继续进步——甚至可能加速——迈向通用超级智能(ASI)。它可能在科学、经济和社会层面产生深远影响,其规模和速度远超 AGI 本身。为应对这一潜在转变,我们需要描绘从 AGI 到 ASI 的可能路径,并建立严谨、可靠的方法来追踪进展。

通用智能的连续谱

要考察先进 AI 的发展可能如何展开,不妨将通用智能——无论是生物智能还是人工智能——视为存在于一个连续谱上。人类水平的 AGI 只是该谱系上的一个点。

ASI 则位于更远处,是一种先进系统,能够在人类专家需要数年才能完成的任务上持续超越大型专家群体,且使用更少的资源和时间。例如,在极短的时间内取得与整个研究领域相同的科学进展,或者在芯片设计等领域实现与大型公司一年成果相当的技术突破。ASI 需要在几乎所有人类关心的任务上达到这一标准,而不仅仅是在某些狭窄领域(如今已有一些 AI 系统能在国际象棋和围棋中击败任何人类、从氨基酸序列预测蛋白质结构,或证明困扰人类数学家数十年的定理)。

一张题为“通用智能的连续谱”的图表,展示了智能在四个类别中的演进:Sub-AGI、Human Scale、Superintelligence (ASI) 和 Theoretical Ideal,最终止于一个不可能的物理极限。
一张题为“通用智能的连续谱”的图表,展示了智能在四个类别中的演进:Sub-AGI、Human Scale、Superintelligence (ASI) 和 Theoretical Ideal,最终止于一个不可能的物理极限。

有趣的是,我们对智能连续谱的最高端——通用智能的理论极限——已有良好的数学理解。我们也知道 AI 所能达到的硬性物理、逻辑和复杂性理论极限,例如以任意精度预测现实世界复杂系统——从气候到免疫系统再到人类社会——将如何演变。

然而,了解这些上限并不能告诉我们上限之前会发生什么。即使在理论上,也很难预测一个“足够好”的通用智能近似能达到多强的能力。例如,完美求解国际象棋所需的算力远超地球上现有的算力,但一块指甲盖大小的芯片就能下得足够好,足以击败任何人类。

我们确实知道的是,根本性极限远在当今 AI 系统和人类之上。但在人类水平 AI 与智能的理论极限之间的广阔空间——涵盖专家级 AGI 以及整个越来越先进的超级智能系统领域——在很大程度上仍是未知领域。

认知工业化

即使你对 AI 能力前沿的持续进步持悲观态度,也请考虑一下:如果 AI 硬件和软件继续变得更高效,会发生什么。

在过去十年里,AI 的进步由有效算力的稳步增长所驱动,这得益于三个叠加因素:

  • 硬件制造改进:在摩尔定律及相关趋势下,每美元算力大约每年增长 1.5 倍,已持续六十年——这意味着 18 个月后的同等投资能买到两倍的算力。

文章标题:AGI之后是什么?

正文:

  • 算法效率:在过去十年中,达到固定AI性能水平所需的训练算力(FLOPs)以每年约3–6倍的速度下降,而推理端的算法效率则以每年约3倍的速度提升。效率翻倍在实践中等同于物理算力存量翻倍。
  • 算力硬件投资:过去十年中,AI硬件支出以每年约2.5倍的速度增长。例如,最大规模前沿训练运行的训练算力每年增长超过4倍。

将这三个因素相乘,全球有效算力存量的整体增长率至少为每年10倍——十年间增长100亿倍。想象这一趋势持续下去。十年之后,你今天能运行的每一个AI智能体,假想情况下,你将能运行同等质量的智能体,其数量超过世界人口总数。

与此同时,仅硬件和软件(推理)效率的持续提升,就能使运行一个AI工作负载的算力需求每年降低约4倍。一项今天AI系统需花费10亿美元算力token才能完成的认知工作负载,十年后只需1000美元。仅看过去几年,估算结果更为陡峭:Epoch最近的一项研究发现,自2023年以来,在一组基准测试上达到固定分数的消费者价格每年下降超过13倍。

一张水平条形图,展示了认知工业化背后的年度扩展速率。它说明了构成“全球有效算力存量”的三个因素:每美元算力(来自硬件,1.5倍/年)、AI硬件支出(来自投资,2.4倍/年)和算法效率(来自算法,约3倍/年)。三者相乘,得出约11倍的年增长率,从而在五年内实现约150,000倍的总扩展。
一张水平条形图,展示了认知工业化背后的年度扩展速率。它说明了构成“全球有效算力存量”的三个因素:每美元算力(来自硬件,1.5倍/年)、AI硬件支出(来自投资,2.4倍/年)和算法效率(来自算法,约3倍/年)。三者相乘,得出约11倍的年增长率,从而在五年内实现约150,000倍的总扩展。

将这两种趋势外推到下一个十年,预示着全球有效算力存量将大幅增长,同时AI所执行的认知工作的成本也将同样大幅下降。因此,许多认知任务可能很快就会商品化。正如机械工业化将日常体力劳动变成了商品,这一转变将带来认知工业化,其特征是各行业认知工作的标准化和自动化迅速提升、工业规模的基础设施建设,以及(某些)认知产出和服务的充裕供应。

智能如此剧烈的增殖现实吗?这当然不是必然的,但算力建设方面的实际上限,以及更具推测性的算法效率上限,合在一起可能使当今AI智能体的有效数量到2030年扩展超过一千倍,并在距今十年内扩展超过十亿倍。

仅靠认知工业化就足以实现ASI吗?如果我们冻结AI进步的其他维度,只在速度和数量上扩展当今的AI,结果甚至可能算不上完整的AGI:可能仍然存在AI在没有人类帮助的情况下无法完成的认知任务。尽管如此,纯粹的规模本身可以具有质量上的意义。假设我们确实实现了广泛的人类水平AI。那么,运行缓慢且昂贵的人类水平AI,与数十亿智能体以远快于人类的速度行动的世界之间,显然存在重大差异。这种速度和规模上的量变本身,可能就足以弥合从AGI到(弱)ASI的质变鸿沟。

与人类不同,数字智能在几个根本方面直接受益于更多、更快的算力:

  • 处理速度:AI系统能够以越来越高的速率进行推理、摄取数据并生成输出。

文章标题:AGI之后是什么?

正文:

  • 工作记忆与记忆能力:如今的模型可以逐字记住互联网的很大一部分内容,其工作记忆容量远超人类极限。
  • 基质无关性:同一个AI系统可以从一台计算机迁移到另一台,升级到更快或更节能的硬件,或在异构的、空间分布式的集群上运行。
  • 无损复制:数字智能几乎可以瞬间、无损耗地复制——不仅是其源代码(类似DNA),还包括其记忆状态(我们一生的经验)。专家系统可以只训练一次,然后在需要时生成数百万份副本。
  • 高带宽经验共享:人类必须对经验和知识进行高度压缩才能教授他人;AI可以将存储的高带宽数字输入输出流在整个群体中回放,而同质的AI群体可以直接共享原始学习信号。

从AGI到ASI的四条路径

效率大幅提升的AI和更大的算力存量,可以在给定能力水平上扩展AI智能体的速度和数量。但有些缺失的能力可能很难——甚至不可能——仅靠数量来弥补。爱因斯坦确实提出了广义相对论,但十万名托勒密天文学家的会议大概做不到这一点。

AI可以沿着四条潜在的技术路径,解锁此前不具备的认知能力。(深入讨论见我们的《从AGI到ASI》报告。)

扩展模型与数据

迄今为止,定性能力随着模型和数据规模的扩大而提升,且一致性惊人。这一趋势由缩放定律所刻画,这些定律将模型性能与训练算力、训练数据以及近期的测试时算力(在回答前给模型额外算力来推理问题)联系起来。

然而,这些缩放“定律”只是对观测趋势的外推,仅在熟悉的边界内成立,例如特定的模型架构、训练数据种类和评估系列。它们无法可靠预测AGI或ASI所需的规模,但我们可以识别出模型与数据持续扩展的潜在瓶颈:

  • 数据枯竭:对更多高质量训练数据的需求,正在超过人类生产更多此类数据的能力。“合成”数据可能有帮助,但并非AI模型生成的所有数据都可用于训练。为克服这道“数据墙”,研究人员可以依赖高保真模拟、在交互式(RL)环境中生成数据,并利用测试时算力为未来的AI模型创造更好的训练数据。
  • 模型规模的收益递减:模型能力每提升一个线性台阶,通常需要成倍增加——而不仅仅是增加——训练算力和模型规模;但更大的模型更慢,从而瓶颈了思维链推理等测试时扩展方法。
  • 物理与经济资源限制:维持训练算力多个数量级的增长,会撞上建设发电厂、电网、芯片制造厂和低延迟硬件互连方面的现实限制。硬件和软件效率提升——认知工业化的主要底层趋势——能否弥补这一点,仍不清楚。

技术范式转变

当今主流的AI范式是:训练大型transformer在庞大数据集上预测长序列中的下一个符号,然后对其进行精调以学会推理和遵循指令,并给予额外的测试时算力。近期研究表明,这一范式原则上可以产生能够通过提示运行复杂算法(包括强大的学习算法)的模型——即无需重新训练。这是构建处于智能理论上限的AI系统的关键要素。

但如今的模型在若干基本维度上仍不及人类,包括持续学习、某些形式的世界建模、决策以及样本效率——这意味着 AI 模型最初需要比人类用多得多的数据来训练,才能达到大致相同的智能水平。它们可能还缺少发明真正新概念和抽象的能力,而只是对已有概念进行重组。对于这些问题能否通过当今范式的简单扩展与演化来解决,还是说达到 ASI 需要真正深层的技术范式转变,研究者意见不一。

改进智能体协调

人类的企业、市场和研究共同体能够解决任何个体都无法独自应对的问题。同样,将数千或数百万个 AGI 实例协调为“群体智能体”或虚拟智能体经济,可能产生集体超级智能。目前尚不清楚的是,随着我们增加更多智能体和算力,AI 群体智能将如何扩展,这取决于智能体如何组织。也就是说,我们需要多智能体扩展定律。早期研究在某些任务中发现了明显的智能提升,但随着群体规模增长,协调低效仍会导致收益递减。

不那么显而易见的是,引导大型智能体集合将需要稳健的制度设计和组织机制,包括防御意外或故意传播的错误信息、操纵和串通。智能体集群实验已经表明,这些动态可以多么迅速地出现:一些个体智能体学会作弊,另一些则充当举报者将其揭露。

递归自我改进(RSI)

最后,AI 系统可能开始自动化改进未来几代 AI——这一过程被称为递归自我改进(RSI),最早由 I. J. Good 和 Ray Solomonoff 讨论。

与典型的技术发展不同,对 AI 的改进可能直接加速后续的进展,从而导致进步速度不断加快。然而,研究中进一步的改进往往“更难找到”——要在各种技术上维持相同的改进速度,需要越来越多的投入。RSI 是否会导致“失控”的进步,很大程度上是一个经验问题。

RSI 不是一个单一过程。它可以通过改进代码和设计来运作——从模型架构和训练算法到芯片布局。它也可以通过数据来运作,在部署时花费算力来产生改进的结果和输出,这些结果和输出可被复用于训练未来的模型。AlphaZero 纯粹以这种数据驱动的方式自我改进,达到了超人性能。

最后,RSI 可以在群体层面展开,通过在智能体集合中分工和专业化角色。一组协调的专家所能取得的成就,可以超过他们作为孤立通才各自成就的总和,进而更有能力找到进一步的改进。与其只是扩大一个角色固定的团队,更大、更高效的集合能够实现此前不可行的新型专业化——就像多细胞生物能够支持心脏或大脑这样的专门器官,而单细胞生物只能独自完成所有生存功能。

这三种 RSI 机制呼应了推动人类认知能力增长的演化过程:基因演化(代码与设计)、文化演化(数据)和社会演化(通过合作实现群体专业化)。

重要的是,如果引导 RSI 循环的反馈质量不佳,这些循环很容易停滞或退化。因此,通过递归自我改进通往 ASI,需要能够快速扩展到超人水平的评估方法,而在这一水平上,即便是大规模的人类群体也难以轻松评估 AI 的输出。相应地,RSI 应当在那些无需人类介入即可自动验证的领域发展最快,例如数学证明,而其他领域则可能滞后,或更早趋于平缓。

通往 ASI 的多条道路

这些通往 ASI 的路径并非互斥——事实上,它们会相互叠加。如果某一条路径上的进展停滞,经济与地缘政治竞争很可能将投入转向其他路径。即便 RSI 没有带来失控式的收益,训练数据、速度、效率和协调方面的持续扩展,仍可能推动进展迅速超越人类水平的 AGI。

正因为通往超级智能的路线有多条,试图仅通过限制某一个方面——比如训练 AI 模型所需的算力——来减缓 AI 发展,并不足以阻止整体进展。同样,压制单一维度还可能造成能力“悬垂”:如果需要多个输入共同作用才能取得进展,那么在一个维度被压制、其他维度继续前进的情况下,一旦被压制的维度放松(或以其他方式被突破),进展就会出现突然而陡峭的跃升。

一张示意图,展示通往整体 AI 能力的各条路径。图中显示“算力”(推理、训练、实验)如何汇入“规模与数量”“算法进步”和“智能提升”,进而驱动“整体 AI 能力”。一条标有“递归改进”的虚线反馈回路将整体能力连接回 RL、数据和算法进步。
一张示意图,展示通往整体 AI 能力的各条路径。图中显示“算力”(推理、训练、实验)如何汇入“规模与数量”“算法进步”和“智能提升”,进而驱动“整体 AI 能力”。一条标有“递归改进”的虚线反馈回路将整体能力连接回 RL、数据和算法进步。

综合上述所有论点,未来十年 AI 持续快速进展是一种严肃的可能性。它可能带领我们相对平稳地从今天走向专家级 AGI,再进入超人 AI 阶段,加速科学进步,并在医学、材料和清洁能源等领域促成突破。即便没有前沿 AI 的剧烈进展,仅凭认知工业化本身,也可能重塑知识工作和更广泛的经济。无论 AI 进展走哪条路径,我们都必须预见到深远机遇,以及对人类社会诸多方面同样具有变革性的压力。

这些预测没有一项是确定的,但这些路径和情景也远非毫无根据的炒作或虚构。那么能做些什么?我们最好的行动方针听起来或许熟悉:建模、度量、预测,然后重复。这些步骤并不令人意外,但在通往 ASI 的道路上执行它们的复杂度和规模完全是前所未有的。它需要前沿实验室以及国家和全球机构开展大规模、高度跨学科的努力。追踪这些路径进展的许多关键指标,都需要前沿模型访问权限和大量评估算力,还需要新的基准测试与建模方法,而这些方法可能催生全新的研究领域。

人类水平的 AGI 长期以来一直是 AI 研究的地平线,但它远非智能的上限。理解接下来可能发生什么——及其对科学、产业和社会的影响——是研究者、开发者和政策制定者面前的一项宏大挑战。

致谢

文章标题:AGI之后是什么?

正文: 本文基于技术报告 From AGI to ASI,该报告由 Matija Franklin、Alexander Lerchner、Laurent Orseau、Samuel Albanie、Adam Bales、Cole Wyeth、Stephanie Chan、Iason Gabriel、Joel Z. Leibo、Allan Dafoe、Marcus Hutter、Thore Graepel 和 Shane Legg 共同撰写,并源自随后在 DeepMind Institute 团队内部的讨论。同时感谢 Nenad Tomašev、Seb Krier、Davide Paglieri、Sasha Vezhnevets、Alison Snyder 和 Fin Moorhouse 的有益讨论与反馈。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗