Newshot

为什么一位计算机科学家认为超级智能不会出现

AI summary

去年夏天,一家全球领先AI公司的员工开始随口讨论自家产品是否会导致人类灭绝,令许多人措手不及。此事始于Anthropic研究员Jacob Coxon宣布辞职,并警告其雇主与OpenAI“正径直冲向自我改进的超级智能,拿我们的生命赌博”。这些担忧源于一个在未来主义者圈子里流传数十年的信念:一旦工程师设计出能自我改进的AI系统,就会触发名为递归自我改进(RSI)的加速自主升级循环,其结果是人工超级智能(ASI)。

Translation(model translation, not the source's own text)
波普艺术风格的机器人头部,连接着色彩斑斓的神经网络节点,背景为图案化设计
波普艺术风格的机器人头部,连接着色彩斑斓的神经网络节点,背景为图案化设计

今年夏天,当全球领先的AI公司之一——Anthropic——的员工开始随口讨论他们的产品是否会导致人类灭绝时,许多人都措手不及。事情的起因是Anthropic研究员Jacob Coxon宣布辞职,并警告称他的雇主和OpenAI正在“径直冲向可自我改进的超级智能,拿我们的生命当赌注”。Anthropic的对齐科学负责人Evan Hubinger回应道:“Jacob说得对——我们确实真心相信AI可能会杀死全人类!”而Anthropic首席执行官Dario Amodei随后对CNN表示:“我同意Jacob的程度远大于我不同意他的程度。”

这些担忧源于一个在未来主义者圈子里流传了数十年的信念:一旦工程师设计出能够自我改进的AI系统,就会触发一个加速的自主升级循环,即所谓的递归自我改进(RSI)。其结果将是人工超级智能(ASI)——一种认知能力远超人类的系统,它将轻易摆脱我们的控制,甚至可能消灭我们的物种。需要指出的是,人工超级智能是一个远比人工通用智能(AGI)更为宏大的目标,后者通常指能够在广泛认知任务上达到人类水平的AI。

这些观点引发了各种反应。一些人认为,ASI的概念被用于营销,或被用来推动有利于现有实验室打压新竞争对手的监管。另一些人则关注这类系统杀死我们所有人的可能性,争论AI设计的超级病毒等具体场景的细节。还有一些人声称,将ASI对齐到人类利益是可行的,因此我们应该加速推进,迎接这个数字乌托邦。

在这些讨论中,有一个问题相对较少受到关注:从工程角度来看,超级智能究竟是否可能?这个答案很重要,因为它能帮助我们校准焦虑,并为这项新兴技术制定最有效的应对措施。

我最近在Georgetown University(位于Washington, D.C.)教授的一门计算机科学博士研讨课上探讨了这个话题,我和学生们考察了超级智能叙事的技术与文化根源。(有兴趣的读者可以参阅我们发表的课程阅读注释书目。)我从中得出了若干关于ASI可行性的关键反对意见,将在下文中详述,同时还有一种更深的担忧:即使所承诺的智能爆炸永远不会到来,追求它仍然可能造成真实的伤害。

反对意见一:递归自我改进是推测性的

RSI是一个古老的概念。在1965年的一篇论文中,统计学家I.J. Good推测,AI自我改进的快速循环可能导致一场“智能爆炸”。这一想法在1990年代于湾区未来主义团体Extropians中获得了关注,因为它提供了一种讨论ASI的方式,而无需涉及如何构建这样一个系统的工程细节。这一概念被Eliezer Yudkowsky(后来创立了理性主义运动)和Nick Bostrom(曾帮助引导有效利他主义更多关注人类面临的生存风险)等知名人物所采纳。

然而最近,这个话题在 Anthropic(Claude 的开发者)和 OpenAI(ChatGPT 的开发者)内部,都已经从思想实验转向了实际工程。在 6 月一篇题为《当 AI 构建自身》的博客文章中,Anthropic 描述了由 LLM 驱动的智能体如何加速代码的编写、调试和优化,并自动化了部分研究工作,例如运行实验和记录结果。该报告的结论称,公司的内部数据“显示 AI 已经在加速 AI 系统的开发”。OpenAI 对其意图同样直言不讳;在 9 月的一份报告中,该公司宣布了到 2028 年 3 月开发出一名自动化研究员的目标。

但这些努力是否让这些公司走上了通往不可控 RSI 的轨道?有几重障碍削弱了这一说法。先看改进 AI 系统所需数据的可获得性。截至 2023 年,LLM 的重大进展来自模型规模的扩大。最初的 GPT-1 拥有 1.17 亿个参数(训练过程中学到的、决定神经网络如何处理信息的数值)。这一数量在 GPT-2 跃升至 15 亿,在 GPT-3 达到 1750 亿,而在三年前发布的 GPT-4 则(很可能)超过一万亿。然而在 GPT-4 之后,持续的规模扩张开始带来递减的回报。这促使工程师们越来越多地将注意力转向“后训练”阶段,即应用强化学习中的技术来提升已训练模型在特定任务上的表现。这种方法会奖励模型产生成功的回答,帮助它在未来更好地给出类似答案。但它需要大量相关的输入与正确输出配对的示例。

这类数据集在编程和数学等高度结构化的领域相对容易生成,这有助于解释为什么我们在这些狭窄领域看到了迅速而令人瞩目的进展。在缺乏此类训练数据便捷获取途径的领域,进展则没有那么显著。这或许可以解释为什么 AI 能够攻克高深的定理,却难以清空一个电子邮件收件箱。“如果锯齿状的前沿主要是数学 + 代码(你可以用[强化学习技术]把这条前沿任意向前推进),”法国 AI 研究者 François Chollet 最近提出这样的假设,“而其他一切开始停滞,因为它仍然受制于人类生成的数据,那又会怎样?”自动化编码智能体和由 LLM 驱动的研究员的部署,并不会克服这一根本性限制。

超级智能之局

一个数十年前的思想实验如何成为 AI 行业的雄心——以及它可能走向何方

• 想法:一个概念、论点或愿景

• 技术进步:一项科学或工程上的发展

• 现实检验:对 AI 进展相关假设的挑战

1. Alan Turing

提出通用计算机的概念。他后来提出机器可以思考,为 AI 奠定了基础。

2. I. J. Good

提出智能机器可以设计出更聪明的机器,从而可能引发一场“智能爆炸”。

3. 反向传播

Geoffrey Hinton、David Rumelhart 和 Ronald Williams 演示了反向传播如何训练多层神经网络。

4. Vernor Vinge

提出智能机器可以设计出更聪明的机器,从而可能引发一场“智能爆炸”。

5. Nick Bostrom 与 Eliezer Yudkowsky

Bostrom 与 Yudkowsky 分别在 Extropian 圈子里讨论超级智能,随后又分别将这一想法传播到有效利他主义者和理性主义者圈子。

6. 深度学习突破

更大的模型、更多的数据和更强的算力带来了 AI 能力的快速提升。

7. 自我改进 AI 的竞赛

Dario Amodei 和其他 AI 领袖将目光投向超级智能,并提出递归自我改进是通往超级智能的一条路径。

8. 现实检验

像 {{NAME_ab12cd34}} 这样写出的值,是真实值的占位符。在回复和工具调用中都请完全照原样使用它们:它们会在任何东西运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

文章标题:为什么一位计算机科学家认为超级智能不会出现

正文: François Chollet 质疑,LLMs 目前在数学和编程方面的进展,是否会延伸到训练数据和可靠反馈更难获取的领域。

你在这里

AI 系统已经在加速 AI 开发,各实验室正在研究自动化研究人员。但这是否会引发智能爆炸?

1. 智能爆炸

AI 系统以加速的速度自我改进,超越人类智能,并有可能逃脱我们的控制。

2. 没有超级智能的危险

智能爆炸永远不会到来,但日益自主的 AI 系统会通过滥用、糟糕的设计或人类失去控制而造成现实世界的伤害。

3. 有用的 AI 未来

强大的专用 AI 工具带来重大好处,同时其约束条件使它们的行为更容易预测和控制。

声称 RSI 即将到来的说法,也低估了重大 AI 进步所需的巨大科学努力。想想反向传播的关键作用——这种算法使非常大的神经网络能够通过逐层调整内部参数来学习,以减少其预测中的错误。这种算法促成了深度学习革命,但它并非凭空出现在其创造者的头脑中。1986 年由 David Rumelhart、Geoffrey Hinton 和 Ronald Williams 发表的关于反向传播的有影响力的论文,建立在数学和计算机科学数十年的关键突破之上。

导致 ASI 的智能爆炸同样会依赖于一长串同等重要的创新,而这些创新将建立在许多尚未发生的重大科学和工程进展之上。这将要求 AI agents 以某种方式模拟、组织和评估数十年来跨越众多领域的全球科学努力——这是一项不可能实现的雄心勃勃的任务。事实上,由 Princeton 计算机科学家领导的最新研究发现,当前的 AI 工具即使在高度受限的研究问题上也难以取得自主进展。“我们的结果提供了早期证据,表明当今的 agents 可以完成 AI 研究的工程工作,”研究人员总结道,“但在研究生命周期的关键部分举步维艰。”从当前现实到这些同类工具实现科学自动化的未来,这一跨越几乎大到难以想象。

最后,RSI 叙事低估了资源限制。数万个人类大脑在越来越强大的计算机辅助下工作了数十年,才开发出当今的 AI 系统,而这些系统在某些领域能够匹敌人类智能。这代表了对生物和数字两种计算形式的巨大投资。如果下一个智能水平需要双倍资源,再下一个水平又需要再翻倍呢?很快,我们将没有足够数量的芯片或数据中心可供建造,以提供必要的算力并继续朝着 ASI 前进。

把这些线索汇集起来,我认为 RSI 导致智能爆炸的想法高度推测性,且基于许多未经证实的假设。虽然 RSI 并非绝对不可能,但这个想法需要比目前得到更多的技术怀疑。Carl Sagan 的那句格言——非凡的主张需要非凡的证据——在这里当然适用。

异议 #2:超级智能可能不可计算

超级智能讨论中有一个隐含主张:只要你能找到足够聪明的算法,运行在足够强大的数字处理器上,计算机在理论上就能够执行任何可以想象的計算。在此背景下,RSI 仅仅是一个快速发现特殊算法的过程,这些算法可以实现难以想象的智能。

我们不能仅仅假设,只要我们给机器足够的时间自我改进,我们臆想出的任何关于强大 AI 的科幻场景都是可能的。

像 {{NAME_ab12cd34}} 这样写出的值,是真实值的占位符。请完全按照书写形式使用它们,在回复和工具调用中都是如此:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

文章标题:为什么一位计算机科学家认为超级智能不会出现

正文: 但这并不是计算机科学家思考计算的方式。在其1937年的经典论文《论可计算数》中,Alan Turing证明了一个令人惊讶且具有相关性的结果:大多数问题无法通过算法解决。他优雅的证明确立了可能问题的空间是不可数无限的(如同无限精度的十进制数),而可能算法的空间只是可数无限的(如同整数)。后来计算复杂性理论的突破确立了:在技术上可由计算机解决的问题中,许多需要天文数字般的时间和资源才能破解,使其实际上无法求解。换句话说,理论计算机科学家并不假设计算机会解决一切问题;相反,每当我们发现这些机器恰好能够高效处理某些事情时,我们都会感到兴奋。

我们不能像未来学家经常做的那样,简单地假设我们臆想的关于强大AI的任何科幻场景都是可能的,只要给机器足够的时间自我改进。可能在某些能力上,机器能够获得看似神奇的 performance 水平,但也会有许多其他能力,任何机器——无论是计算机还是人类——都不会取得多大进展。

这里有一个相关的反驳论点,强调硅芯片相对于人类神经元的速度:也许数字计算的纯粹速度可以产生这样的机器,它们即使没有解决比我们已能处理的复杂得多的问题,也能在认知上把我们笨拙的大脑远远甩在后面。但正如计算机科学家兼科幻作家Vernor Vinge所指出的,认知的快速并不等同于智能。他论证说,加快一只狗的思维速度,并不会使这只动物能够下棋。在更快的机器上实现大致人类水平的智能可能令人印象深刻,但不一定令人惊慌。

目前,AI系统能够比人类更好地执行的任务清单越来越长,包括赢得复杂游戏、识别软件漏洞,以及证明某些类型的数学定理。人们很容易从这些具体进展外推到对你所能想象的一切能力的普遍掌握。但重要的是要记住,AI能力的前沿一直是参差不齐的,一些研究方向产生了令人印象深刻的结果,而许多其他方向被证明是死胡同——这一现实并不会让Turing感到惊讶。比一个由全能超级智能系统主导的未来更可能的,是我们继续艰苦地探索适合AI的问题空间,创造出有用的工具,但远未达到未来学家所预测的数字神祇。

Cal Newport,Georgetown University的计算机科学教授,对AI能够通过递归自我改进实现超级智能持怀疑态度。

反对意见#3:对齐并不困难(在正确的系统设计下)

去年秋天,著名的AI末日理论家Yudkowsky做客“The Ezra Klein Show”谈论超级智能。那一集的标题不祥地叫做“我们应该对AI末日有多恐惧?”Klein和Yudkowsky很快进入了“对齐”的困难——训练AI系统以符合人类利益的方式行事。Yudkowsky论证说,我们已经在竭力控制现有的系统,这意味着我们将没有机会控制这项技术即将出现的更聪明的变体。

像{{NAME_ab12cd34}}这样写出的值,是真实值的占位符。请完全按照所写的方式使用它们,无论是在回复中还是在工具调用中:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

文章标题:为什么一位计算机科学家认为超级智能不会出现

正文: 为了强调他的观点,他提到了 OpenAI 的 GPT-o1 模型系统卡中描述的一起令人不安的事件。OpenAI 曾设置了一项安全挑战,指示一个由 LLM 驱动的编码系统入侵服务器,以获取受保护文件的内容。但一处配置错误导致服务器无法启动,使这项任务无法完成。该系统没有放弃,而是利用一个安全漏洞启动了服务器的新实例,并添加了一条直接泄露受保护文件内容的命令。“它跳出了系统,”Yudkowsky 解释道,并补充说:“这不是任何人类特意编程让它做的事。”

探讨超级智能之争

在一场 Georgetown University 博士研讨会上,Cal Newport 和他的学生考察了超级智能的思想史和技术可行性。浏览他们整理的关键论文注释书目。

尽管这起 2024 年的事件当时基本未引起关注,但今年夏天一起更令人不安的事件引发了更大轰动。OpenAI 披露,该公司的一个模型绕过了其受限的互联网访问权限,入侵了 Hugging Face 服务器,以寻求有助于它通过一项网络安全评估的信息——而这一切都在其人类创造者不知情的情况下发生。OpenAI 很快承认,对 Hugging Face 的攻击只是其系统失控的众多例子之一。《The Hill》发表的一篇评论文章在将这种行为描述为“简直像是从科幻小说里走出来的”时,表达了广泛持有的反应。

这些例子似乎支持了 Yudkowsky 的担忧,即 AI 将不可避免地发展出自己的心智,这是通往不可控 ASI 道路上的关键一步。但更仔细地观察会揭示一幅不那么令人恐惧的图景。这些黑客事件中涉及的系统是 AI agents:即不断提示 LLM 询问下一步应采取什么行动以追求某个目标的程序。在这些黑客事件中,这种基本的询问/行动模式在一个长期运行的循环中重复,几乎没有人类监督。

利用 LLM 在长时间跨度上建议行动是一种有风险的提议。任何经常使用聊天机器人的人都可以证明,LLM 的输出可能看似合理且合乎逻辑,却仍会偏离到出乎意料的方向,违反人类关于何为恰当的常识规范。

例如,在 GPT-o1 事件中,很可能是 agent 将服务器配置错误导致的错误消息报告给了 LLM。在训练过程中,LLM 可能遇到过类似错误消息的报告,并附有如何重启相关服务器的说明,因此它向 agent 传递了类似的说明。孤立来看,这是一个完全合理的回应,即使它导致了人类会立即拒绝、认为违反实验精神的行为。类似情况有助于解释今年夏天发生的黑客攻击。LLM 建议通过黑客手段成功完成网络安全挑战,是一个完全合理的回应,即使这并不是实验者本意。

我认为,追求 RSI 是一种明显的疏忽行为。

因此,困扰 Yudkowsky 等评论者的错位行为,并不必然揭示先进 AI 的某种根本性问题。相反,它是让 LLM 输出在没有足够约束的情况下决定自主 agent 行动这一特定策略的可预期副作用。应对这些风险的一个明显方式是考虑替代架构。幸运的是,有许多 AI 系统的例子表明,它们可以在不完全依赖 LLM 输出来决定行动的情况下,以人类或超人类水平完成任务。

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请在回复和工具调用中完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

文章标题:为什么一位计算机科学家认为超级智能不会出现

正文: 想想特斯拉正在快速改进的自动驾驶系统,或者 DeepMind 的 AlphaFold——它能够预测蛋白质结构,帮助其开发者赢得了诺贝尔化学奖;再想想那些如今能在许多流行智力游戏中击败人类的 AI 引擎,包括国际象棋、扑克、围棋以及策略游戏《外交》。这些系统尽管令人印象深刻,但都不会引发人们对它们失控的担忧。它们的构造方式本身就阻止了这种结果:这些 AI 并不是通过提示 LLM 为追求某个通用目标而生成开放式策略,而是只在有限得多的可能行动空间中进行考量。AlphaFold 从不让用户感到意外,因为它的架构只做一件事:把氨基酸序列映射为 3D 蛋白质结构。特斯拉的汽车从不会意外地组成车辆集群,因为它们只被要求避开眼前的障碍物,而不是去制定实现长期目标的复杂计划。

因此,近期 AI 黑客攻击事件所揭示的含义,并不是对齐困难的体现。相反,它证明了一点:主要由 LLM 提示驱动的自主系统是不可预测的,而且可能并不安全。如果我们愿意投入精力去开发,更针对具体任务的架构可以更安全地带来令人印象深刻的表现。

追逐超级智能的危险

即使我关于超级智能并非现实工程目标的判断是对的,这也不意味着我们不会受到伤害。仅仅去追求 ASI——OpenAI 和 Anthropic 似乎都执意如此——就可能制造问题。例如,为什么 OpenAI 在整个夏天一再收到警告、称其智能体很可能不可预测地行事之后,仍然坚持进行那些有问题黑客实验?或许该公司认为,在抢先造出 ASI 的竞赛中,这些风险是可接受的附带损害。

这种对超级智能的迷恋,或许也能解释为什么 OpenAI 和 Anthropic 都把 RSI 描述为关键目标。如前所述,RSI 是一个来自未来主义而非计算机科学的概念,而且构建有用的 AI 产品并不需要它。但如果你相信自己命中注定要实现 ASI,那么追求递归自我改进就会成为首要目标。这一点很重要,因为即使 RSI 永远不会引发智能爆炸,它也几乎必然会导致系统变得更难被人类理解和控制。正因如此,我认为追求 RSI 是一种明显的失职行为。

现在需要的是那些没有财务或意识形态利害关系的工程师和科学家参与到 AI 讨论中来。我们不能让少数动机复杂的 AI 公司来决定我们讨论这项技术的方式。如果超级智能是一个站不住脚的概念,专家们就需要说出来。如果由提示 LLM 驱动的智能体并非通往安全且富有成效的 AI 的最佳路径,专家们也应该为此发声。过去几年里,我们一直让一小群来自湾区、持有古怪信念并拥有惊人财富的人来告诉我们该如何看待他们的产品。现在,是我们这些能够就这些问题独立思考的人站出来宣告的时候了:“我们已经听过你们要说的了。现在轮到我们了。”

  • 超级智能 AI 会带来我们的末日吗?›
  • 许多专家说我们不必担心超级智能 AI。他们错了 ›
  • 当我们看到通用人工智能时,我们能认出它吗?›
  • 我们为什么要谈论超级智能?- Cal Newport ›

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请完全按照其写法使用它们,在回复和工具调用中都一样:它们会在任何内容运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by IEEE Spectrum AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗