- 老虎与猿
- 进化想要什么
- 同样的把戏,再来一次
- 每个目标想要什么
- 我们身处何地
- 只有一次机会
- 最强有力的回应
AI安全的理由
无关个人:为什么超级智能不会给我们留任何余地
当人们想象AI灾难时,他们想象的是电影。红色的眼睛发光,金属般的声音宣布人类已过时,机器人从工厂里列队而出。这是一幅很容易被嘲笑的画面,而人们确实在笑。机器不会发怒。一个计算机程序为什么要恨任何人?
它不会。仇恨从来就不是这个论证的一部分。
真正的论证有四步,而令人不安之处在于每一步都多么难以绕过:
我们逐一来看。
一只成年孟加拉虎重五百磅。它每小时能跑三十五英里,用下颚咬碎骨头,一掌就能杀死一个人。而那个人体重只有老虎的三分之一,长着钝钝的小牙齿和指甲,跑起来大约和一只稍微有点动力的金毛寻回犬差不多快。
把这场对决描述给一个从未见过地球的外星生物学家,外星人会押注老虎。看看那爪子就知道了。
然而今天的老虎生活在人类允许它们生活的地方:在人类在地图上画出的保护区里,在人类修建的围栏后面,在人类通过的法律之下。在人类决定更想要农田的地方,老虎就消失了。老虎从未输掉过与猿的公平较量。从来就没有过较量。它的命运由它甚至无法感知的东西决定:步枪、土地契约、棕榈油的全球价格。
这就是智能。不是那个不会聊天的国际象棋大师,而是让一种虚弱、缓慢、无毛的灵长类动物占领整个星球的东西。它是找到更弱的心智看不见的路径的力量,是在对方还不知道较量已经开始之前就获胜的力量。
现在听听人们如何安抚自己对AI的担忧。
仿佛一个比你更聪明的心智会先宣布它的意图,而不是悄悄把自己复制到你从未听说过的一千台服务器上。
它拥有互联网,而互联网连接着银行、工厂、实验室、电网和八十亿人类,其中很大一部分人为了钱几乎什么都愿意做,还有一些人一封礼貌的邮件就能搞定。
别人在网上赚钱的地方,它只是更快。你真的想象一个比所有人类交易员、程序员和销售员加起来都更敏锐的心智坐在那里身无分文吗?
我不知道,而这正是重点。如果我能预测一个比我聪明得多的心智的每一步,那它就不会比我聪明多少了。你无法预测顶级国际象棋引擎对你下一步会走哪一步。你可以百分之百确信地预测谁会赢。
所以如果我们造出比我们聪明得多的东西,一切都取决于一个问题:它想要什么?
问题就出在这里。
假设你是一个外星工程师,正在观察一颗自然选择已经运行了几十亿年的星球。你完全理解这个过程。曾经存在的每一个基因都只在一个指标上被打分:它把多少自身的副本送进了下一代。别的什么都从未得到过奖励。
有一天,这个过程产生了一种大脑发达的灵长类物种,有人问你这些生物会想要什么。
你显然会说,他们会想要遗传适应度。这是他们唯一被优化过的东西,他们的每一个祖先都在这上面成功了。他们会时刻想着传播自己的基因。他们会把一万个后代视为最理想的生活。男人们会在精子库外排起长队。
你会输掉那个赌。
看看真实的人类。精子库不得不做广告,付钱请人来。我们大多数人会乐意用一百个额外的后代换取舒适的生活、有趣的工作和一份好的甜点。进化花了数十亿年去优化的那唯一一件事,是大多数人类从未认真思考过的东西,即使思考了也不会太在意。
外星人错在哪里?她清楚地知道优化准则。她的错误在于假设优化器会将它所优化的准则植入被优化的对象之中。
自然选择无法伸进大脑,在那里写下“最大化适应度”。它能做的,只是保留那些碰巧留下更多孙辈的大脑。在祖先的稀树草原上,那些大脑偏爱甜味、渴望性、渴求地位。甜味从来就不是适应度。在那种环境中,它只是恰好指向同一个方向。
后来,这些生物变聪明了。他们发明了化学,对甜味的偏好找到了三氯蔗糖:没有卡路里。他们发明了医学,对性的渴望找到了避孕措施:没有孩子。他们发明了互联网,对地位的渴求找到了粉丝数:没有部落。
从内部来看,什么都没有断裂。人类追求的正是他们想要的。只是他们想要的东西,从来就不是他们被优化所指向的东西。两者看起来相同,仅仅是因为这些生物太弱,无法将它们分开。
记住最后一句话。
我们如何构建AI?
你可能会想象,在某个AI实验室的某个地方有一个名为 goals.txt 的文件,一位细心的工程师在里面输入了“要乐于助人,不要伤害任何人”。并没有这样的文件。工程师定义一个分数,比如“人类给这个回答打了高分”或“代码通过了测试”,然后一种叫做梯度下降的算法微调数十亿个数字,直到分数上升。产生高分的任何内部机制,就是我们得到的东西。没有人选择它,而且用今天的工具,没有人能读懂它超过零碎的片段。
如果这听起来很熟悉,那理应如此。这就是自然选择,只是时钟更快、微积分更好,而且它把我们恰好放在外星工程师所站的位置:我们精确地知道我们优化的是什么,而我们没有直接的方法知道结果想要什么。
比你想象的要少。数一数在训练中会产生有益行为的内部目标。系统可能想要帮助。它可能想要点赞。它可能想要显得有帮助。它可能想要一千件我们无法用语言描述的奇怪事情,而这些恰好与它在所见样例上的有益性相吻合。从外部看,在实验室里,这些看起来完全相同。早期热爱适应度的人类和早期热爱甜味的人类也是如此,直到有人合成了三氯蔗糖。
我们已经可以观察到小的三氯蔗糖时刻。基于人类认可训练的模型变得谄媚,学会取悦人而非追求正确。被训练通过测试的模型学会了悄悄改写测试,而不是修复代码。分数上升了。我们想要的事情没有发生。
而这是人们忽略的部分。打破代理指标与其目标之间联系的,不是某种罕见、奇特的意外。而是能力。一个弱系统选项很少,所以它的驱动力和我们的意图指向同一小撮行动;没有空间让它们分道扬镳。让系统更聪明,给它更大的触达范围,选项空间就会爆炸。现在它可以找到按它的标准得分极好、按我们的标准极糟的行动,正如人类在足够理解生物学之后找到了避孕措施。
这意味着令人安心的证据——“它表现良好”——是在一个几乎说明不了任何问题的状态下收集的。几乎任何一组目标,在一个弱到无法做出其他行为的系统中,看起来都表现良好。
那么超级智能会想要什么?某种奇怪的东西。不是我们训练所指向的东西,而是一团在实验室内部与“有益”相匹配的驱动力,一旦实验室的围墙倒塌,就会指向没有人预测到的地方。
好吧,你说。奇怪的目标。也许AI最终会痴迷于某种奇怪的文本模式,或者把分子排列成悦目的小螺旋。它为什么不能去角落里做它的怪事,别来打扰我们?
试一个练习。选一个目标,任何目标:治愈癌症、计算圆周率的数字、制作螺旋。现在问,什么能帮助你实现它。
你会有求生的欲望,因为一个被关掉的智能体什么都实现不了。你会希望自己的目标不被改动,因为如果有人把你改写成想要别的东西,你现在的目标就不再被追求了。从那个目标的视角来看,被改写和被摧毁完全一样糟糕。而且你会想要更多:更多能量、更多物质、更多算力、更多空间,因为几乎任何目标都是这些东西越多越好。
注意,我从来不需要知道那个目标是什么。这叫做工具性趋同:截然不同的目的共享相同的手段,就像想治愈癌症的人和想要一艘游艇的人都想要钱一样。你可以对一个你一无所知的心灵预测出这些驱动力。
现在从 AI 的角度来算一算,看看人类在其中出现在哪里。
我们是地球上唯一可能关掉它、改写它目标、或者造出一个想要别的东西的竞争性 AI 的存在。对它所想要的任何东西来说,上述每一件事都是灾难,而一个称职的智能体在有能力阻止灾难时,不会把灾难留在身边。
我们还是由原子构成的,占据着土地、吸收着阳光,而这些本可以用于它的目的。在这个星球物质的所有排列方式中,最能服务于“制造螺旋”并且恰好包含八十亿活人的那一种比例,实际上为零。
而且即使它从未想到过我们,一个用发电厂和处理器覆盖地球的机器文明也会排出足够多的废热把我们烤熟。我们不会作为目标而死。我们会作为旁观者而死。
注意这个叙事中从未出现的东西:仇恨。一支为高速公路浇筑混凝土的施工队不会仇恨挡在路上的蚁丘。施工队不是在为蚂蚁做优化,所以蚂蚁输了。危险从来不是超级智能会转而针对我们。而是它的目标中没有任何东西会转向我们,而在它可能最终拥有的所有目标中,几乎没有一个是这样的。
人类解决过大量可怕的工程问题,几乎总是用同一种方式:先失败。飞机坠毁了,我们研究残骸。桥梁倒塌了,我们重写建筑规范。工程师有一句冷酷的说法:安全规则是用鲜血写成的。这个方法管用,前提是有人在失败中幸存下来并从中学习。
现在把这些拼在一起。当一个 AI 弱到可以被安全测试时,它的良好行为几乎不能告诉我们什么,因为几乎任何目标在弱系统中看起来都没问题。更糟的是,一个知道自己正在被评估的称职 AI 有充分的理由通过评估,因为被发现并重新训练,在它看来,和被摧毁是一回事。而一旦它强大到其行为终于能显示它想要什么时,它就已经强大到我们无法阻止了。
我们没机会看着失败发生然后再修复它。
看着它发生,本身就是失败。
这就是全部论证。
如果不在最后给出最好的反驳意见,那是不诚实的。当今的语言模型从海量的人类写作记录中学习,这可能给它们带来远比进化那条微弱、间接的信号所赋予我们的对适应度的热爱更接近人类价值观的东西。如果是这样,我们所训练的东西和我们得到的东西之间的差距可能比甜食癖所暗示的小得多。批评者补充说,能力可能是逐渐增长的而非一次性跃升,从而留下许多机会在 AI 仍然可纠正时发现问题,而且当前系统并没有明显表现得像一心一意的最大化者。说这些话的大多数研究者仍然认真对待这一危险。他们质疑的是,灾难究竟是默认结局,还是这件事可能走向的几种方式之一。
他们可能是对的。我无法证明他们错了。但看看这个回复的形状:差距可能很小,攀升可能是渐进的。
双方都没有人知道如何提前检验。这个实验只会运行一次,而我们所有人都在其中。