有意识AI的神话
为什么意识更可能是生命的属性而非计算的属性,以及为什么创造有意识的、甚至看似有意识的AI是个坏主意。


Anil Seth凭借其英文文章《有意识AI的神话》荣获2025年度Berggruen Prize Essay Competition奖。
Seth是一位神经科学教授,也是萨塞克斯大学意识科学中心的主任,同时还是加拿大高等研究院大脑、心智与意识项目的联合主任。他著有《Being You: A New Science of Consciousness》(Dutton,2021年)。
几个世纪以来,人们一直幻想着扮演上帝,创造人类的人造版本。这是一个随着每一波新技术浪潮而重新焕发的梦想。基因工程带来了克隆人的前景,机器人技术带来了类人仿生人的前景。
人工智能(AI)的崛起是又一个浪潮——可能是一场海啸。我们周围已有的AI系统可以说已经具备了智能,至少在某些方面如此。它们无疑还会变得更加聪明。但它们是否有意识,或者是否可能拥有意识?这又为什么重要?
合成意识的文化历史既漫长又大多不幸。从傀儡Yossele,到Mary Shelley的《Frankenstein》、《2001: A Space Odyssey》中的HAL 9000、《Ex Machina》中的Ava,以及《Klara and The Sun》中的Klara,创造既能思考又能感受的人造身体和合成心智的梦想鲜有善终——至少对涉及的人类而言如此。我们从这些故事中学到一件事:如果人工智能正走向真正的意识,甚至走向那些令人信服地看起来有意识的系统,那么利害攸关的事情很多——不仅仅是就业市场的颠覆。
有些人认为有意识的AI已经存在。在2022年接受《The Washington Post》采访时,Google工程师Blake Lemoine对他正在研究的一个AI系统——一个名为LaMDA的聊天机器人——提出了惊人的主张。他声称它有意识,有情感,并且在重要意义上就像一个真实的人。尽管媒体纷纷报道,Lemoine并未被太当回事。Google以违反保密政策为由将他解雇,AI的浪潮继续滚滚向前。
但他提出的问题并未消失。因违反保密规定而解雇某人,与因判断错误而解雇某人并不相同。随着AI技术的不断进步,关于机器意识的问题正日益被提出。David Chalmers是该领域最杰出的思想家之一,他认为有意识的机器可能在不太遥远的未来成为现实。Geoffrey Hinton是真正的AI先驱、近期的诺贝尔奖得主,他认为它们已经存在。2024年底,一群知名研究人员发表了一篇被广泛报道的文章,论述了认真对待AI系统福祉的必要性。对于AI和神经科学领域的许多顶尖专家来说,机器意识的出现是一个何时而非是否的问题。
我们如何看待有意识AI的前景至关重要。这对AI系统本身很重要,因为——如果它们有意识,无论是现在还是未来——意识伴随着道德地位、受苦的可能性,或许还有权利。
文章标题:有意识AI的神话
正文: 这对我们也很重要。无论现实如何,我们集体对AI意识的看法已经具有极大的重要性。如果我们觉得我们的AI伴侣真的能感受事物,我们的心理弱点就可能被利用,我们的伦理优先次序可能被扭曲,我们的心智可能遭受摧残——把看似有意识的机器当作没有感情的东西来对待,在心理上是一种不健康的状态。而如果我们真的赋予AI造物以权利,我们可能就无法关掉它们,即使它们的行为违背我们的利益。
或许最重要的是,我们对有意识AI的思考方式,关乎我们如何理解自身的人性,以及那些让我们的生命值得一过的意识体验的本质。如果我们太轻易地把自已与机器造物混为一谈,我们不仅高估了它们,也低估了我们自己。
有意识AI的诱惑
我们为什么甚至会认为AI可能有意识?毕竟,计算机与生物有机体截然不同,而大多数人目前一致认为有意识的东西,都是由血肉而非金属构成的。
第一个原因在于我们自身的心理结构。作为人类,我们知道自已有意识,并且喜欢认为自己很聪明,所以我们很自然地假定这两者是相伴而生的。但它们在人类身上相伴而生,并不意味着它们在普遍意义上总是相伴而生。
智能与意识是两回事。智能主要关乎行动:解一道填字游戏、组装家具、应对棘手的家庭局面、走到商店——这些都涉及某种形式的智能行为。一个有用的智能的普遍定义是:通过灵活手段实现复杂目标的能力。此外还有许多其他定义,但它们都强调系统的功能能力:将输入转化为输出、把事情办成。
“如果我们太轻易地把自已与机器造物混为一谈,我们不仅高估了它们,也低估了我们自己。”
人工智能系统是按其执行某种智能行为的能力来衡量的,尽管不一定是类人的形式。相比之下,通用人工智能(AGI)的概念明确以人类智能为参照。它应当达到或超过人类的认知能力。(还有超级人工智能,ASI,即当AI自我跃升、超出我们的理解与控制时出现的情况。ASI往往出现在关于我们可能未来的那些更具存在主义焦虑的场景中。)
意识与智能不同,主要关乎存在。半个世纪前,哲学家 Thomas Nagel 提出了一个著名说法:“一个有机体具有有意识的心理状态,当且仅当作为那个有机体是某种体验。”意识是正常清醒与深度全身麻醉下的无意识之间的区别。它是大脑功能尤其是感知的体验层面:色彩、形状、味道、情绪、思想等等,赋予我们生活以质感和意义。晴朗天空中天空的蓝。第一杯咖啡的苦味和上头感。
AI系统可以合理地声称在某种形式上具有智能,因为它们确实能做事,但很难说作为 ChatGPT 是何种体验。
将智能与意识捆绑在一起的倾向,可以追溯到三种根深蒂固的心理偏见。
第一种是人类中心主义。这是以身为人类的视角看待事物的倾向:把人类的例子当作定义性的标准,而不是当作不同属性可能如何组合在一起的一个例子。
文章标题:有意识 AI 的神话
其次是人类例外论:我们有一种不幸的习惯,总把人类放在一切堆叠的顶端,有时甚至放在完全不同的另一堆里(或许更接近天使和神,而非其他动物,正如中世纪的 Scala naturae 所示)。第三是拟人化。这是一种倾向,即基于可能只是表面上的相似性,将类似人类的特质投射到非人类事物上。
综合来看,这些偏见解释了为什么当事物展现出我们认为是人类独有的能力(比如智能)时,我们自然会赋予它们其他我们认为具有人类特征甚至人类独有的品质:理解、心智和意识,也是如此,这并不奇怪。
智能行为中有一个方面,在让某些人认为 AI 可能有意识这件事上格外有效,那就是语言。这很可能是因为语言是人类例外论的基石。像 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 这样的大型语言模型(LLM)一直是人工意识兴奋情绪的主要焦点。据我所知,没有人声称 DeepMind 的 AlphaFold 是有意识的,尽管在底层,它与 LLM 相当相似。所有这些系统都运行在硅上,涉及人工神经网络以及其他花哨的算法创新,比如 transformers。AlphaFold 预测的是蛋白质结构而非词语,只是不会以同样的方式拨动我们的心理琴弦。
我们自己使用的语言也很重要。想想当 LLM 吐出虚假信息时说它们“幻觉”已经变得多么正常。人类的幻觉主要是失去了对现实把握的意识体验(可以说,是不受控制的感知)。当我们听到不存在的声音,或看到已故亲属站在床脚时,我们就会产生幻觉。当我们说 AI 系统“幻觉”时,我们隐含地赋予了它们体验的能力。如果我们一定要用人来类比,说它们“虚构”会好得多。在人类中,虚构涉及不自觉地编造东西。它主要关乎行动,而非体验。
当我们把意识体验等同于看似人类的品质,如智能和语言时,我们就更容易在不存在意识的地方看到意识,而在存在意识的地方却看不到。我们当然不应只是假设随着 AI 变得更聪明,意识就会随之而来;如果你听到有人说真正的人工意识会在 AGI 的任意阈值处神奇地涌现,那就是人类例外论在起作用的明确迹象。
还有其他偏见在起作用。有一个强有力的观念认为,AI 中的一切都在指数级变化。无论是用摩尔定律衡量的原始算力,还是大型科技基础模型每次新迭代带来的新能力,事物确实在快速变化。指数增长具有心理上 destabilizing 的特性:前方似乎陡峭得不可思议,而身后似乎平坦得无关紧要。关键在于,无论你处在曲线上的哪个位置,事物看起来都是这样——这正是它成为指数增长的原因。因此,人们很容易觉得我们总是处于重大转型的边缘,而还有什么比创造真正的人工意识更重大呢?但在指数曲线上,每一个点都是拐点。
“当我们把意识体验等同于看似人类的品质,如智能和语言时,我们就更容易在不存在意识的地方看到意识,而在存在意识的地方却看不到。”
文章标题:有意识人工智能的神话
正文: 最后,还有一种技术狂喜的诱惑。在电影《机械姬》的开头,程序员 Caleb 对发明家 Nathan 说:“如果你创造出了一台有意识的机器——那不是人类的历史,那是神的历史。”如果我们感到自己正处在一个技术-历史的转折点上,而我们恰好又是它的缔造者之一,那么普罗米修斯式的诱惑想必难以抗拒:那种为人类带来曾属于神明领域之物的感觉。而伴随着这一奇点而来的,是标志性的狂喜馈赠——永生:逃离我们那不便地衰朽着的生物躯体、永远活着(或至少永远存在)、在硅基云中漂浮向永恒的希望。
也许这就是为什么,在技术精英圈内,关于机器意识即将到来的宣告似乎比圈外更为常见。(更刻薄地说:助长“AI 带有某种半魔法色彩”的想法,或许有助于让股价居高不下,并为如今硅谷所见的天价薪酬和投资规模提供正当性。是不是有人说了“泡沫”?)
在《More Everything Forever》一书中,Adam Becker 将把意识投射到 AI 上的倾向描述为一种空想性错视——即从事物中看出图案的现象,比如在一片吐司上看到一张脸,或是在肉桂卷里看到特蕾莎修女(图 1)。这是一个贴切的描述。但帮助你认识到我们那些诱发空想性错视的心理偏差有多强大,只是挑战有意识 AI 神话的第一步。要回答真正的人工意识是否可能这一问题,我们需要挖得更深。

意识与计算
有意识 AI 这一想法本身就建立在这样一个假设之上:意识是计算的问题。更具体地说,实施正确类型的计算或信息处理,就足以让意识产生。这一假设被哲学家称为计算功能主义,它如此根深蒂固,以至于人们很难意识到它终究只是一个假设。但它确实只是一个假设。而如果它是错的——我认为它可能是错的——那么真正的人工意识就完全无从谈起,至少对于我们熟悉的那类 AI 而言是如此。
挑战计算功能主义,意味着要潜入深水区,去探讨计算意味着什么,以及说一个物理系统——比如一台计算机或一个大脑——在进行计算,究竟意味着什么。我将概述四个相关论证,它们削弱了这样一种观念:计算——至少是标准数字计算机中所实施的那种计算——足以产生意识。
1:大脑不是计算机
首先,也是最重要的一点:大脑不是计算机。把大脑比作碳基计算机的隐喻影响巨大,且具有直观的吸引力:心智是软件,大脑是硬件。它也极具生产力,带来了许多关于大脑功能的洞见,以及当今绝大多数 AI。要理解这一隐喻的力量与影响,并把握其局限,我们需要回顾一些计算机科学和神经生物学的先驱。
Alan Turing 在这个故事中卓然凌驾于所有人之上。早在 1950 年代,他就播下了机器可能具有智能这一想法,而在此十多年前,他
提出了一种计算的定义,自此以来,这一定义对我们的技术、以及对大多数人对计算机是什么的理解,始终具有根本性的意义。
有意识 AI 的神话
图灵对计算的界定极其强大,而且高度(不过,正如我们将看到的,并非完全)通用。它建立在图灵机这一抽象概念之上:一种简单的装置,按照一组规则在无限长的纸带上读写符号。图灵机把算法的概念形式化了:算法是一个通过一系列步骤从输入(一串符号)到输出(另一串符号)的映射;如果你愿意,也可以说是一份数学配方。图灵的关键贡献在于定义了后来被称为通用图灵机的东西:另一种抽象装置,但这一次它能够模拟任何特定的图灵机——任何算法——办法是把目标机器的描述作为自己输入的一部分。这种通用能力正是图灵计算如此强大、如此普遍的原因之一。我写作时用的笔记本电脑,以及服务器集群里运行着无论什么最新 AI 模型的机器,都是通用图灵机的物理、具体实例(或近似物),受制于时间和内存等物理限制。
“有意识 AI 这一想法本身,就建立在这样一种假设之上:意识是一件计算的事情。”
从实际工程的角度看,这个框架的另一个重大优势,是它允许在抽象计算(软件)与物理实现(硬件)之间做出干净的分离。一个算法(在上述意义上)无论运行在哪台计算机上,都应该做同样的事情。图灵计算在原则上是基质无关的:它不依赖于任何特定的物质基础。在实践中,更准确的说法是基质灵活,因为你没法用任意材料造出一台能用的计算机——比如奶酪,就干不了这活儿。这种基质灵活性使图灵计算在现实世界中极其有用,这也是为什么计算机会存在于我们的手机里,而不只是存在于我们的头脑中。
大约在图灵崭露头角的同时,数学家 Walter Pitts 和神经生理学家 Warren McCulloch 在一篇里程碑式的论文中表明,由高度简化的抽象神经元组成的网络可以执行逻辑运算(图 2)。后来的工作——包括逻辑学家 Stephen Kleene 等人的工作——证明,这类人工神经网络在获得类似纸带的记忆(如图灵机中那样)之后,是“图灵完备”的:它们在原则上可以实现任何图灵机、任何算法。

把这些想法放在一起,我们就得到了一场数学上的权宜联姻,既有影响力,又带着伴随简洁而来的那种美。一方面,我们可以忽略真实大脑那杂乱无章的神经生物学现实,把它们当作由抽象神经元组成的简化网络,其中每个神经元只是把输入加总并产生一个输出。另一方面,当我们这样做时,我们就得到了图灵计算所能提供的一切——而这是很多。
这场联姻的果实最明显地体现在它的孩子身上:驱动当今 AI 的人工神经网络。它们是 McCulloch、Pitts 和 Kleene 的直系后代,而且它们也在基质灵活的图灵意义上实现算法。当前这波 AI 那种诱人的惊艳感,强化了“大脑不过是神经网络算法的碳基版本”这一想法,这并不令人意外。
但麻烦正是从这里开始的。在大脑内部,并不存在计算机中软件与硬件之间那种“心智件”与“湿件”的清晰分离。你越是深入生物大脑的复杂精细之处,就越会意识到,与硅那死寂的沙子相比,它是多么丰富而动态。
文章标题:有意识人工智能的神话
正文: 大脑活动模式在空间和时间的多个尺度上演化,从大规模皮层区域一直延伸到神经递质和神经回路的精细细节,所有这些都与代谢活动的分子风暴深深交织在一起。即使单个神经元也是一台极其复杂的生物机器,忙于维持自身的完整性,并为其自身持续存在再生条件和物质基础。(这个过程被称为自创生,源自希腊语“自我生产”。自创生可以说是生命系统的一个决定性且独特的特征。)
与计算机不同——即使是运行神经网络算法的计算机——大脑是那种难以、且很可能不可能将其所做之事与其所是之物分开的东西。
也没有任何充分理由期待如此干净的分离。现代计算机中软件与硬件之间的鲜明划分是由人类设计 imposed 的,遵循图灵的原理。生物演化在不同的约束和不同的目标下运作。从演化的角度来看,对于那种能够实现不同大脑之间完美互操作性的完全分离——就像我们在不同计算机之间所享有的那样——并不存在明显的选择压力。事实上,相反的情况很可能是真的:维持鲜明的软件/硬件划分在能量上是昂贵的,这在当今现代服务器农场庞大的能源预算中再明显不过。
“你越深入探究生物大脑的复杂性,就越意识到它与硅的死沙相比是多么丰富和动态。”
这很重要,因为将大脑视为基于肉体的(通用)图灵机的想法,恰恰建立在这种尺度的鲜明分离之上,建立在最初促使图灵给出其定义的那种基质独立性之上。如果你无法将大脑所做之事与其所是之物分开,那么这种数学上的权宜联姻就开始瓦解,也就更没有理由将生物湿件视为仅仅是为了实现算法心智件而存在。大脑的物质性对其功能有影响的证据,就是反对“数字计算才是唯一重要的”这一观点的证据,而这反过来又是反对计算功能主义的证据。
真实大脑深度多尺度整合的另一个后果——哲学家有时称之为“生成性嵌入”——是你不能假设可以用硅等效物替换单个生物神经元,同时完美保持其功能及其输入-输出行为。
例如,神经科学家 Chaitanya Chintaluri 和 Tim Vogels 发现,一些神经元发出活动尖峰显然是为了清除代谢产生的废物。为这些神经元设计完美的硅替代品,还需要发明一整套全新的硅基代谢,而这恰恰不是硅所适合的事情。无缝替换生物神经元的唯一方式是用另一个生物神经元——理想情况下,是同一个。
这揭示了流行的“神经替换”思想实验的弱点,该实验最常与 Chalmers 联系在一起,它邀请我们想象逐步用硅等效物替换大脑部件,这些等效物的功能与生物对应物完全相同。其假定的结论是,认知和意识等属性必定是基质独立的(或至少是硅基质灵活的)。这个思想实验已成为人工意识讨论中的一个突出修辞,通常被用来支持其可能性。Hinton 最近在一次采访中正是以这种方式诉诸它,他在采访中声称有意识的人工智能已经与我们同在。但该论证在第一道障碍处就失败了,因为用完美的硅等效物替换大脑的任何部分是不可能的。
文章标题:有意识 AI 的神话
正文: 还有一个值得提及的后果,源自深度尺度整合的大脑。数字计算机与大脑在它们与时间的关系上有着根本的不同。在图灵世界中,只有顺序才重要:从 A 到 B,从 0 到 1。在任何状态转换之间,无论是微秒还是一百万年,它仍然是相同的算法、相同的计算。
相比之下,对于大脑以及一般生物系统而言,时间是物理的、连续的且无法逃避的。生命系统必须持续抵抗衰败和混乱,这些是通往由不可违背的热力学第二定律所规定的熵同一性轨迹上的现象。这意味着神经生物活动以算法设计上所不具备的方式锚定在连续时间中。(这也是为什么数字计算在能量上如此昂贵。计算存在于时间之外,但计算机并非如此。确保 1 保持为 1,0 保持为 0 需要大量能量,因为就连硅也无法逃脱熵的纠缠。)
此外,许多研究人员——尤其是现象学传统中的学者——长期以来一直强调,意识体验本身是极其动态且本质上具有时间性的。它不会从一个状态结巴到另一个状态;它是流动的。将大脑抽象为算法那干旱的序列空间,既不符合我们的生物学,也不符合意识流的现象学。
归根结底,隐喻只是隐喻,正如哲学家阿尔弗雷德·诺斯·怀特海很久以前指出的那样——将隐喻与事物本身混淆总是危险的。透过“图灵眼镜”看大脑,低估了其生物学丰富性,高估了其所做事情的基质灵活性。当我们看清大脑的真实面貌时,认为其所有多尺度生物活动仅仅是某种抽象算法杂技的实现基础设施的观念,显得相当天真。大脑不是肉做的图灵机。
“将大脑抽象为算法那干旱的序列空间,既不符合我们的生物学,也不符合意识流的现象学。”
2:其他游戏
在上一节中,我提到图灵计算强大但有限。图灵计算——算法——将一个有限范围的离散数字(更一般地说,一串符号)映射到另一个有限范围,只有序列才重要。图灵算法很强大,但有许多种动力学、许多其他类型的功能超出了这种计算的范围。图灵本人识别了各种不可计算的函数,如著名的“停机问题”,即确定一个算法在给定特定输入时是否最终会终止的一般性问题。此外,任何连续(无限可分)或随机(涉及固有随机性)的函数,严格来说,都超出了图灵的职权范围。(图灵计算可以在不同程度上近似或模拟这些属性,但这与声称此类函数是图灵计算是不同的。我稍后会回到这一区别。)
生物系统中充满了连续和随机的动力学,并且深深植根于物理时间之中。至少可以说,假设只有图灵计算对意识重要,或者对认知和心灵的其他许多方面重要,是冒昧的。电磁场、神经递质的流动以及许多其他方面——都超出了算法的界限,其中任何一个都可能对意识发挥关键作用。
这些限制促使我们对大脑采取更广阔的视角,超越我有时称之为“图灵世界”的范畴,考虑更广泛的计算和动力学形式如何帮助解释大脑如何完成其功能。这里有丰富的历史可供借鉴,也有激动人心的未来。
文章标题:有意识人工智能的神话
正文: 最早的计算机并非数字图灵机,而是在连续时间中运行的模拟设备。用于天文目的、可追溯至约公元前2000年的古代“安提基特拉机械”便是一个绝佳例子。模拟计算机在20世纪50年代人工智能诞生之初再次占据重要地位,其形式是长期被忽视的控制论学科——在控制论中,系统的控制与调节问题被认为比抽象符号操作更为重要。
近来,神经形态计算出现了复兴,它利用了神经系统中更为精细的特性,例如神经元尖峰的精确定时,而非当前人工神经网络方法中占主导地位的卡通式模拟神经元。此外还有相对较新的“会死的计算”概念(由Hinton提出),它强调通过开发与其物质基底不可分割地绑定的算法来节省能源的潜力,使得它们(隐喻地说)在其特定实现不复存在时便会“死亡”。所有这些替代计算形式都比标准数字计算更紧密地与其物质基础相连——在基底上更不灵活。

许多系统在做它们所做的事时,将其描述为计算完全不合理也无用处。三十年前,认知科学家Tim van Gelder给出了一个颇具影响力的例子,即蒸汽机的调速器(图3)。这些调速器利用简单的力学和物理学来调节通过引擎的蒸汽流量:随着引擎速度增加,两个沉重的悬臂球向外摆动,进而关闭阀门,减少蒸汽流量。一个“计算型调速器”会感测引擎速度、计算必要的动作,然后发送精确的电机信号来开启或关闭执行器——这不仅效率低得无可救药,而且暴露出对实际发生之事彻头彻尾的误解。
认知科学中通常称为“动力系统”的分支,以及强调心智的生成、具身、嵌入和延展方面的方法(即所谓的4E认知科学),都以与van Gelder洞见相关的方式,拒绝心智与大脑可以被算法穷尽解释的观念。它们都探索基于连续动力过程数学的替代方案——涉及吸引子、相空间等概念。大脑功能中那些对意识而言必要的方面,也依赖于诸如此类的非计算过程,或依赖于某种更宽泛的计算概念,这至少是合理的。
“大脑的物质性对其功能至关重要的证据,就是反对‘数字计算就是一切’这一观念的的证据,而这反过来又是反对计算功能主义的证据。”
这些其他的理论选项都仍然与哲学中所谓的功能主义相容:即心智的属性(包括意识)依赖于(具身的)大脑的功能组织。造成这一领域混乱的因素之一,是一种将相当宽松的一般功能主义立场——因为功能组织可以包含许多东西——与计算功能主义非常具体的主张相混淆的倾向,后者意味着真正重要的组织类型是计算性的,而这又常被假定与图灵式算法特别相关。
机器意识在此面临的挑战是:我们从图灵世界走得越远,就越深地纠缠于随机性、动力学和熵之中,也越深地与特定物质基质的属性绑定在一起。问题不再是什么样的算法会产生意识,而是一个系统需要多像大脑,才能在其具有意识的潜力上产生实质性变化。
3:生命至关重要
我的第三个论点是:生命(很可能)至关重要。这一观点——哲学家 John Searle 称之为生物自然主义——认为生命的属性对于意识而言是必要的,尽管未必是充分的。我应该事先说明,我并没有一个能彻底驳倒反方的论证来支持这一立场,也不认为这样的论证目前已经存在。但它值得认真对待,哪怕仅仅因为前面提到的那个简单理由:目前大多数人一致认为确实具有意识的每一个意识候选者,同时也是活的。
为什么生命对意识可能至关重要?这里要说的内容超出了本文的篇幅(我写了一整本书《Being You》,以及最近一篇关于该主题的研究论文),但一种思考方式是这样的。
出发点是这样一个观点:我们有意识地感知到的东西,取决于大脑对世界上正在发生什么的最佳猜测,而非对感官输入的直读。这源于有影响力的预测处理理论,该理论将大脑理解为通过不断更新关于感官输入成因的预测,来持续“解释掉”其感官输入。在这一观点下,感官信号被解释为预测误差,报告的是大脑在每个知觉层级上所期望的与所得到的之间的差异,而大脑每时每刻在所有地方持续地最小化这些预测误差。
从这个角度看,意识体验是一种受控的幻觉:一种自上而下、由内而外的知觉推断,其中大脑对正在发生什么的预测,被自下而上(或由外而内)传来的感官信号持续校准。

这种知觉上的最佳猜测不仅构成了对世界的体验,也构成了作为自我的体验——即作为体验主体的体验。一个很好的例子是我们如何感知身体,既作为世界中的一个客体,也作为更根本的自我性面向(如情绪和心境)的来源。自我性的这两个方面都可以被理解为知觉最佳猜测的形式:关于什么属于身体、什么不属于身体的推断,以及关于身体内部生理状况的推断(后者有时被称为“内感受推断”;内感受指的是从身体内部对身体的感知)。
知觉预测不仅有助于弄清正在发生什么,而且(呼应20世纪中期的控制论)也有助于控制和调节:当你能预测某事物时,你也能控制它。这尤其适用于关于身体生理状况的预测。这是因为任何大脑的首要职责都是维持其身体的存活,将心率和血氧等生理量维持在所需水平。这反过来有助于解释为什么具身体验会有其特有的感受方式。
情绪和心境的体验,不同于(例如)视觉,其主要特征在于效价——即事情总体上进展顺利或不顺利。
“目前大多数人一致认为确实具有意识的每一个意识候选者,同时也是活的。”
文章标题:有意识 AI 的神话
正文: 这种求生的驱动力并不在某个特定层面触底。它深入每个细胞的内部,深入代谢的分子熔炉。在这些代谢活动的旋涡中,无所不在的预测误差最小化过程与生命本身的物质性变得不可分割。一条数学线索可以直接从生物材料自我生产、自创生的本质,一直延伸到支撑我们对世界和自我的知觉经验的贝叶斯最佳猜测。
几条思路在此汇合。第一,我们隐约看到生命与意识之间存在解释性关联。对情绪、心境乃至活着这一基底感受的意识体验,都恰好映射到参与身体状态控制与调节的知觉预测之上。第二,支撑这些知觉预测的过程深深植根于——或许不可分割地植根于——我们作为生物系统的本性,作为抵抗熵性同一化拉扯的自我再生的生命风暴。第三,这一切都是非计算性的,或者至少是非算法性的。真实大脑和真实身体中的预测误差最小化是一个连续的动力学过程,很可能与其物质基础不可分割,而不是一个存在于符号与序列的纯净宇宙中的、由血肉实现的算法。
把这一切放在一起,一幅图景开始成形:我们经验着周围的世界以及身处其中的自己——凭借着、通过并因为我们的活体身体。或许正是生命,而非信息处理,将火焰吹入了经验的方程之中。
4:模拟不等于实例化
最后,模拟不等于实例化。通用图灵计算机最强大的能力之一,是它能模拟范围极广的现象——甚至、或许尤其是那些本身并非(数字地)计算性的现象,比如连续过程和随机过程。
但我们不应把地图与疆域混为一谈,也不应把模型与机制混为一谈。对连续过程的算法模拟就只是模拟,而非过程本身。
计算模拟通常缺乏被模拟事物所具有的因果力量和内在属性。对消化系统的模拟并不真的消化任何东西。对暴雨的模拟不会让任何东西真的变湿。如果我们模拟一个生物,我们并没有创造出生命。一般来说,对 X 的计算模拟并不会使 X 得以存在——并不会实例化 X——除非 X 本身就是一个计算过程(具体说,一个算法)。从另一个方向来说明这一点:X 可以被计算模拟这一事实,并不能为“X 本身是计算性的”这一结论提供正当理由。
在大多数情况下,模拟与实例化的区分是显而易见的,也是没有争议的。对意识而言,它本也应当显而易见、没有争议。对大脑(和身体)的计算模拟,无论多么精细,只有在意识是计算问题的情况下才会产生意识。换言之,通过某种全脑仿真、以某种任意高的细节水平来实例化意识的前景,本身就已经预设了计算功能主义为真。但正如我所论证的,这一假设很可能是错的,而且绝不应被当作公理接受。
这把我们带回到“大脑即计算机”这一隐喻的贫乏之处。如果你认为关于大脑的一切要紧之处都能被抽象神经网络所捕捉,那么自然会认为,在数字计算机上模拟大脑将实例化其全部属性,包括意识——因为在这种情况下,一切要紧之处按假设都是算法性的。这就是关于大脑的“图灵世界”观点。
文章标题:有意识人工智能的神话
“也许正是生命,而非信息处理,才为经验方程注入了火焰。”
反之,如果你感兴趣的是更精细的脑模型——那些能够捕捉单个神经元复杂性以及其他细粒度生物物理过程的模型——那么假定模拟大脑就能实现其全部属性,就更不合理了,因为这些更精细的模型之所以有趣,恰恰在于它们表明,图灵计算之外的东西很可能才是关键。
因此,对于那些把梦想和风险投资押注于将意识心灵上传到极其精细的大脑模拟中、以便在硅基极乐中永生的人来说,这里潜藏着一个矛盾。如果需要的是极其精细的脑模型,那么你存在于模拟中的可能性,并不比一场冰雹出现在英国气象局计算机内部的可能性更大。
但请坐稳了。如果一切本就是模拟呢?如果我们的整个宇宙——包括这个星球上数十亿的身体、大脑和心灵,以及它的冰雹和天气预报计算机——只是一个先进计算机模拟中的代码片段集合,而这个模拟是由我们那些技术上如神一般、且痴迷于谱系的后代创造的呢?
这就是“模拟假说”,与哲学家 Nick Bostrom 联系最为紧密,而且不知怎的,在技术精英中仍是一个有影响力的想法。
Bostrom 指出,这类模拟如果被创造出来,其数量理应远多于原始的“基底现实”,这反过来表明,我们更可能存在于模拟之中,而非现实本身之中。他运用各种统计论证来充实这一想法。但耐人寻味的是,他指出了一个必要的假设,然后就直接将其视为理所当然。这——或许并不令人意外——就是“运行合适程序的计算机将是有意识的”这一假设(见其论文第 2 页)。如果这个假设不成立,那么我们是有意识的这一简单事实就会排除我们存在于模拟中的可能。在一个完全关于假设有效性的哲学讨论中,这个强假设未经审视就被接受,这再一次表明,心智与大脑的计算观已经多么根深蒂固。这也表明,当我们未能区分现实的模型与现实本身时,我们会陷入怎样的存在性混乱。
让我们总结一下。许多社会和心理因素,包括一些已被充分理解的认知偏差,使我们倾向于过度将意识归因于机器。
计算功能主义——即(算法)计算足以产生意识的主张——是一个非常强的假设,而随着大脑与(标准数字)计算机之间众多深刻差异逐渐显现,这一假设看起来越来越站不住脚。还有许多其他技术(例如神经形态计算、合成生物学)和理解大脑的框架(例如动力系统理论),它们超越了严格的算法范畴。在每种情况下,一个人离图灵世界越远,相关属性能够从其底层物质基础中抽象出来的可能性就越小。
一种可能性——其动机来自将感知的预测处理观点与生理调节和新陈代谢联系起来——是意识与我们作为生物性、活生生的生物的本性深深绑定。
最后,无论你选择何种细节粒度,用计算方式模拟意识的生物学机制,都不会产生意识——除非计算功能主义恰好碰巧为真。
文章标题:有意识 AI 的神话
正文: 上述每一条论证都能独立成立。你可能倾向于反对计算功能主义的论证,同时对生物自然主义的价值仍持保留态度。区分模拟与实例化并不依赖于考虑我们的认知偏差。但合在一起,它们相互补充、彼此强化。质疑计算功能主义强化了区分模拟与实例化的重要性。图灵式算法计算之外的其他技术和框架的存在,为“生命可能是意识所必需的”这一观点开辟了空间。
这些论证共同表明:随着 AI 变得越来越智能,意识极不可能只是顺带产生;而对于一般意义上的 AI 系统而言,实现意识很可能是不可能的——至少对于我们熟悉的硅基数字计算机来说如此。
与此同时,我所说的内容并未完全排除人工意识的可能性。
既然如此,我们该怎么做?
“许多社会和心理因素,包括一些已被充分理解的认知偏差,使我们倾向于过度将意识归因于机器。”
该做与不该做
在意识问题上,事实真相很重要。这不仅因为祖先模拟、意识上传之类的神话。能够拥有意识体验的事物具有其他事物所不具备的伦理和道德地位。至少,当这类道德考量主张以意识能力为基础时,它们会更加直接明了。
这就是为什么在当下,清晰地思考真正人工意识的前景至关重要。我已提出反对有意识 AI 的论证,但我可能是错的。生物自然主义立场(无论是我这一版本还是其他版本)仍属少数观点。其他意识理论提出了以我们所知的标准计算为框架的解释。这些理论通常避免提出意识的充分条件。它们也通常回避为计算功能主义辩护,而是满足于将其作为假设。
但这并不意味着它们错了。所有意识理论都充满不确定性,任何声称确知创造真正人工意识需要什么、或确知避免创造它需要什么的人,都超出了可以合理断言的范围。
这种不确定性使我们陷入困境。尽管听起来可能多余,但任何人都不应刻意去创造有意识 AI,无论是服务于某种考虑不周的技术狂喜,还是出于任何其他原因。创造有意识的机器将是一场伦理灾难。我们将在世界上引入新的道德主体,并随之带来新形式苦难的可能性,且(可能)以指数级速度发展。而如果我们赋予这些系统权利——如果它们真的有意识,我们按理应该这样做——我们将削弱控制它们、或在需要时关闭它们的能力。
即使我关于标准数字计算机无法胜任这一判断是正确的,其他新兴技术或许仍有可能做到,无论是替代形式的计算(模拟、神经形态、生物等)还是合成生物学中快速发展的方法。依我之见,我们应当更担心脑类器官(通常由人类胚胎干细胞培育出的类脑结构)中意外涌现的意识,而不是任何新一波 LLM。
但我们的担忧不止于此。就 AI 对社会的影响而言,必须区分实际具有意识的 AI 系统与那些令人信服地显得有意识、但实际上并非如此的 AI 系统。前者存在不可避免的不确定性,而显得有意识的系统则近得多、近得多。
意识人工智能的神话
正如 Google 工程师 Lemoine 所展示的那样,对我们中的一些人来说,这类看似有意识的系统已经到来了。看似有意识的机器会带来严肃的伦理问题,这些问题不同于真正有意识的机器所带来的问题。
例如,我们可能会赋予 AI 系统它们实际上并不需要的“权利”,因为它们实际上并不具备意识,这会毫无正当理由地限制我们控制它们的能力。更一般地说,要么我们决定去在乎那些看似有意识的 AI,从而扭曲我们的道德关怀圈;要么我们决定不去在乎,并冒着让我们的心灵变得残忍的风险。正如 Immanuel Kant 很久以前在其伦理学讲座中所论证的那样,把看似有意识的事物当作缺乏意识来对待,在心理上是一种不健康的状态。
看似有意识的 AI 所带来的危险,正开始被 AI 领域的领军人物注意到,包括 Mustafa Suleyman(Microsoft AI 的 CEO)和 Yoshua Bengio,但这并不意味着问题在任何意义上已得到控制。
“如果我们赋予这些系统权利——如果它们真的具备意识,按理说我们应该这么做——我们就会妨碍自己控制它们的能力,或者在需要时关停它们的能力。”
这里一个被忽视的因素是,即便我们知道、或相信某个 AI 并没有意识,我们仍可能无法抑制地觉得它有意识。人工意识的幻觉对我们的心灵来说,也许就像某些视觉错觉一样不可穿透。Müller-Lyer 错觉(图 5)中的两条线长度相同,但它们看上去永远不一样。无论你遇到这个错觉多少次都无关紧要;你无法靠思考摆脱它。我们对 AI 是否有意识的感觉,也许同样不受我们对 AI 意识的所思所理解的影响。

此外,由于对于意识的必要或充分条件并无共识,也就不存在任何能判定某个 AI 是否真正有意识的确定性测试。《Ex Machina》的情节恰恰围绕这一困境展开。在著名的 Turing 测试(正如 Turing 本人很清楚的那样,该测试检验的是机器智能,而非意识)的基础上加以发挥,机器人 Ava 的创造者 Nathan 说,“真正的测试”是揭示他的造物是一台机器,然后看 Caleb——那个傀儡——是否仍然觉得它、或者说她,是有意识的。这个后来被称为“Garland 测试”的东西,并不是对机器意识本身的测试。它测试的是,需要什么才能让一个人相信一台机器是有意识的。
在所有这些不确定性之下,采取一种有依据的伦理立场之所以重要,凸显了人类的另一个习惯:我们在本该赋予道德地位时却拒绝赋予的不光彩记录,包括对许多非人类动物,有时也包括对其他人类。人们有理由怀疑,拒绝将意识归之于 AI,是否可能让我们再次站在历史的错误一边。近来要求关注“AI 福祉”的呼声,很大程度上正是基于这种担忧。
但有一些充分理由表明,AI 的情况很可能有所不同。我们的心理偏差更可能导致假阳性,而非假阴性。与非人类动物相比,AI 那些显而易见的奇妙之处,可能在某些与意识无关的方面(如语言能力)与我们更相似,而在某些与意识有关的方面(如活着)与我们更不相似。
灵魂机器
尽管有种种炒作和傲慢,毫无疑问 AI 正在改变社会。要应对 AI 带来的清晰而明显的挑战,并恰当利用它的诸多益处,本就足够艰难,更不用说还要面对那些关于即将到来的意识机器时代的无度宣言所制造的额外混乱。鉴于技术本身及其公众认知的变化速度,对意识 AI 的前景与陷阱形成清晰的认识,既至关重要又十分紧迫。
文章标题:有意识 AI 的神话
真正的人工意识将改变一切——而且会带来非常糟糕的改变。有意识 AI 的幻象以其各自独特的方式构成危险,尤其是当我们不断被真正有感知能力的机器所诱惑而分心着迷时。我对本文的期望是,它能提供一些思考这些挑战的工具,一些抵御关于必然性或彻底不可能性的过度自信主张的防御,以及一些对我们自身人类、动物、生物本性的希望。还有对我们未来的希望。
AI 的未来历史尚未写就。AI 可能走向的方向并无必然性。不这么想,就是被我们的概念遗产过度束缚,被糟糕科幻小说的包袱压垮,并屈从于科技公司为了撑到下一个财季而卖力营造的利己叙事。时间紧迫,但集体而言我们仍能决定我们真正想要哪些类型的 AI,以及我们真正不想要哪些。
哲学家 Shannon Vallor 将 AI 描述为一面镜子,将我们数字化过去的入射光反射回我们自身。我们在算法中看到自己,但我们也在我自身中看到算法。心灵的这种机械化,或许是奔向类人 AI 的不当冲刺在近期最有害的后果。如果我们把生物大脑和人类经验的丰富性与深度伪造加持的聊天机器人——或无论最新的 AI 魔法是什么——的信息处理机制混为一谈,我们就对自己的心灵、大脑和身体犯下了严重的不公。如果我们把自己廉价地出卖给我们的机器造物,我们就高估了它们,也低估了自己。
也许出人意料的是,这最终把我带到了灵魂。对许多人来说,尤其是科学和理性的现代人,灵魂的观念可能显得像石器时代一样过时。而如果灵魂指的是理性与意识的一种非物质本质、可与身体完全分离,那么这个看法倒也不算太糟。
“时间紧迫,但集体而言我们仍能决定我们真正想要哪些类型的 AI,以及我们真正不想要哪些。”
但这里也有别的路子。早在 Descartes 之前很久,希腊语中 psychē 的概念就把灵魂的观念与呼吸联系起来;而在世界的另一边,印度教对灵魂的表达——Ātman——把我们最内在的本质与一切经验的基态相关联,不受理性思维或任何其他特定意识内容的影响,是一种纯粹的见证性觉知。
硅基狂喜的卡通式梦想,带着其意识上传、无身体的永恒存在以及与其他被选中者在云端重聚的套路,是对笛卡尔式灵魂的倒退。计算机,或更确切地说是计算,毕竟是不朽的,而算法的圣礼承诺了一种纯粹主义的理性,不受身体玷污(尽管有大量证据将理性与情感联系起来)。但这些很可能是空洞的梦想,带来的不是后人类天堂,而是硅基湮灭。
真正重要的不是这种灵魂。不是你或我的任何无身体的、人类例外论的、不死的本质。也许让我们成为我们的东西可追溯得更远,追溯到古希腊和印度平原,在那里我们最内在的本质升起为一种仅仅活着的朦胧感受——更多是呼吸而非思想,更多是血肉而非机器。社会学家 Sherry Turkle 曾说,技术能让我们忘记我们对生命所知的一切。是时候我们开始记起来了。