我在 2016 年写下的关于失控 AI 的看法,以及后来发生了什么
2026 年 11 月 12 日
早在我把人工智能当作一个设计问题来思考之前,我就已经在 1999 年的一款科幻经典游戏《Quake III Arena》里败给了它。游戏提供了五个难度等级,从“I Can Win”一直到“Nightmare”,中间还有“Bring It On”“Hurt Me Plenty”和“Hardcore”。“Bring It On”显然是我的选择。¹ 在更高的难度下,生存时间以秒计,而不是以分钟计。原因在于手工打造的 game AI。规则、状态机和寻路,经过设计师和程序员的精心调校,让这些机器人更敏锐地判断玩家的行为。到了“Nightmare”难度,与 Xaero 的最终对决可能转瞬即结束。
机器人对手有一整份名单,它们强得令人沮丧。它们似乎和我一样读得懂地图,预判我接下来会出现在哪里,并在我改变策略时调整战术。一个奏效两次的策略,第三次就会失败。比起佩服,我更多是恼火,而直到后来我才明白,恼火才是其中有意思的部分。某个并非我建造、我也无法完全预测的东西,正在回应我。
那段经历伴随我走过艺术学院,也伴随我走过多年为大型组织设计仪表盘和数据界面的岁月。它一直伴随我,直到我写下 2016 年的研究生申请。² 到那时,那些机器人已成了一段美好回忆,但那个教训变成了一个问题。如果一款上个世纪的游戏都能让我感到被看透,那么那些为严肃得多的目的而建造的系统,一旦能够自主行动,又会做出什么?
机器会回应我们围绕它们所构建的世界。令人不安的地方在于,我们对是谁构建了那个世界、又为什么构建,关注得实在太少。
我在 2016 年写下的内容
2016 年,我申请了一个战略预见方向的研究生项目,提案围绕 HASI 构建,它是 Human-focused Artificial Super Intelligence(以人为中心的人工超级智能)的缩写。它的论点很简单。人工智能即将获得的影响力,会快于大多数人的规划,而决定它应当服务于什么,明智的时机是在它开始独立行动之前。
先做几个定义会有帮助。我说的“人工智能”,是指那些执行曾专属于人类的特定任务的系统,比如识别图像或推荐产品。人工通用智能,即 AGI,会像人一样灵活地处理范围广泛的任务。人工超级智能,即 ASI,则会在其中大多数任务上超越人类。³ 我 2016 年的文本在这些术语之间来回切换,却没有说明这一点,而这是我最想修正的第一件事。它还称那款游戏里的机器人会学习,而实际上它们是由设计者手工调校的。
这份陈述说对的地方,是那份担忧。它指出,各公司正在构建对人类任务“有感知”的系统,其中一些工作服务于军事目的,并援引了警告自主武器军备竞赛的研究者。它追问哪些人类技能会被改变、被确立或被损害,以及这对世界各地的文化意味着什么。它还主张,人们应当预先设计护栏,运用设计思维和预见,让机器的目标与我们的目标保持一致。
写这份陈述时,我把草稿分享给了一位我所敬重、经验丰富的从业者。评审既慷慨又直接。它提醒我,我选择了一个巨大的主题,因为超级智能会远远高于我们,以至于我们对它的能力的理解,不会比蚂蚁对我们的理解更多。它指出,我的陈述里只有两段描述了研究构想,而其余大部分都在描述我自己。它还提议用“hASI”这个名字,即 human-focused ASI,后来成了 HASI。这三个贡献我都保留了下来。第一个塑造了我在本文后文描述的局限,第二个是为什么本文大部分内容讲的是这个构想而不是资质,第三个则给了这个构想它的名字。
文章标题:我在2016年写下的关于失控AI的看法,以及后来发生了什么变化
正文: 它缺少的是一个机制。我断言设计思维和前瞻性可以使机器与人类目标保持一致,但我从未解释由谁在哪个阶段做什么,或者这一切与工程师们已经在尝试的做法有何不同。“对齐的目标”描述了一个目的地,却没有给出路线。本文的其余部分,就是我试图画出这条路线图的尝试。
这十年做对了什么,又改变了什么
我的陈述中最经得起检验的部分,是对武器的担忧。在我写下那句话的一年前,AI和机器人领域的研究人员签署了一封公开信,Stephen Hawking 和 Elon Musk 等人物也参与其中。4 信中警告说,一旦任何大国开始研发AI武器,军事AI军备竞赛将几乎不可避免。其补救措施是禁止“超出有意义人类控制”的进攻性自主武器,这是一个关于人类判断必须保留在何处的主张。十年之后,这仍然是正确的问题。
我无法预见的是这场辩论会如何演变。2016年,我想象的是一个失控的超级智能,一台挣脱了束缚的机器。而实际到来的,从2022年底开始,是如今数百万人每天都在使用的语言模型,它们的风险更为安静。同一篇评审也曾敦促我考虑将狭义AI视为一个设计挑战丰富的领域,可以立即着手应对。十年过去,大部分实际的设计工作确实是在尚未达到通用智能的系统上完成的。对齐研究成为该领域的核心部分,各国政府开始制定规则。欧盟的《AI法案》于2024年8月生效,此后一直在分阶段落实其各项义务。5 这些都不像我描述的那个场景。但所有这些都支持了那个场景背后的前提,即护栏是人们必须有意识地去决定的东西。
更近的危险与其说是一台逃离我们的机器,不如说是人们逐渐停止锻炼监管它所需的技能。
更安静的那个风险,是我自己的文本中只用了一句话触及的,当时我问哪些人类技能将被改变、确立或损害。Microsoft 和 Carnegie Mellon University 的研究人员在2025年对319名知识工作者进行的一项调查发现,62%的人表示他们在使用生成式AI时批判性思考减少了,尤其是在处理日常任务时。6 作者警告说,把日常工作交出去,就剥夺了人们维持判断力的实践机会。该研究是自我报告和横截面的,因此它展示的是一个值得审视的模式,而非已被证实的衰退。即便如此,它表明更近的危险与其说是一台逃离我们的机器,不如说是人们逐渐停止锻炼监管它所需的技能。
人类坐在前排
HASI,正如我在2016年所写的那样,建立在三个基础之上。设计思维提供了在为人构建任何东西之前先理解人的 discipline。战略前瞻提供了在承诺某一种未来之前先审视多种未来的习惯。创新提供了将结果转化为真实事物的手段。我从未做的是说明这三者将如何在一个实际系统上协同工作。这是我本应赋予它的结构,也是我的咨询框架 RACE 发挥作用的地方。
RACE 经历四个阶段,名为 Research、Advisory、Conceptualize 和 Educate。在每个阶段中,都有一个 HASI 基础起主导作用。
Research 是设计思维的起点,在做出任何决定之前先了解人。在有人对系统设定限制之前,必须先了解它将影响谁、它将依赖或替代哪些人类技能,以及“以人为本”对该部署意味着什么。这就是我最初在平面设计简报中学到的共情和定义工作,应用于一个将在某种程度上独立行动的系统。
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请完全按照所写的方式使用它们,无论是在回复中还是在工具调用中:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
咨询正是远见发挥作用的地方。我们与受影响的各方以及拥有该系统的工程师一起,推演它可能如何失效或偏离其目标的种种情景。然后我们决定它获得多少自主权。它可以独自决定什么?什么必须由人批准?它被永远禁止做什么?这些是有明确责任人的设计决策,在部署之前就做出,而不是事后才被发现。
概念化是实践意义上的创新。商定的限制变成人们可以使用的东西,例如覆盖点、升级路径,以及将信号与噪声分离的界面,使监督者能及时看到关键信息并采取行动。这些都会与将要执行监督工作的人一起制作原型并测试。
教育完成这一循环,而且我认为它是最被忽视的阶段。没有人有能力使用的护栏只是装饰。这一阶段让相关的人类技能保持练习,向所有受影响的人解释决定了什么以及为什么,并将所学到的内容反馈到下一轮研究中。
与对齐技术工作的区别在于目标不同。对齐研究塑造模型的行为方式。HASI 塑造系统与其周围人之间的关系,这意味着谁能干预、凭借什么信息、以多少技能来干预。两者是伙伴而非对手。我仍然使用 HASI 这个名称及其超级智能视野,因为那正是后果会最严重的地方,但该方法中没有任何部分在等待那一天的到来。它适用于人们现在正在部署的系统。
角色,而非精通
如果无法为超级智能进行设计,那么次优选择就是决定它的用途。因此,HASI 在第一条约束之外增加了第二条约束。除了让人们保持监督能力之外,它还限制先进系统被允许占据的角色,而最适合它的角色在不取代人类判断的前提下扩展人类能力。起草电子邮件、生成图像、清洗和丰富数据集,或总结搜索结果,都属于这类任务。人仍然是结果的作者,并为其负责。
在我早先关于人机关系的文章中,我描述了部署 AI 的四种方式,我称之为增强、辅助、自动化和自主。7 它们不是成熟度的阶段。它们是在具体情境中做出的选择。HASI 通过为每个角色设定上限,将这些选择转化为政策。有些角色可以安全地达到自动化,而少数角色,例如搜索或导航,一旦错误的后果是有界的且人仍然可以审计结果,就可能接近自主。其他角色则应永远停留在增强或辅助阶段。
更难的问题是哪些角色属于最后一类,而这正是 RACE 的咨询阶段发挥作用的地方。HASI 将与受影响的人们一起,梳理出有能力系统可能危及生计、安全或公共秩序的角色,例如运营关键基础设施或在没有审查的情况下对人们做出重大决策。它会建议这些角色对系统保持关闭,并防止现有模型获得填补这些角色所需的能力。
下图将这些想法汇集在一起。HASI 为四种不同的 AI 部署角色——辅助、增强、自动化和自主——确立了治理边界。这些不是技术成熟度的顺序阶段,而是在具体情境中做出的选择。RACE 提供了定义、实施和维护这些边界的过程。核心原则是:更强的 AI 能力并不自动意味着更大的自主权是合理的。
图 1. HASI:一个以人为中心的 AI 自主权治理框架。四种不同的部署角色由一套共同的以人为中心的边界来治理,并通过 RACE 过程加以实施。

我想对后半部分保持谨慎。设计可以识别出各种角色并为此提出论证,但阻止模型获得某项能力是工程师和监管者的任务。这一政策还假定这些角色是由我们来分配的,而对于一个超越我们的系统来说,这是一个很大的假设。我在下文会回到这一局限。
技能问题
在我2016年的声明中,有一句话每一年都变得更加相关。我当时问的是,哪些人类技能会被转变、确立或损害。那时我没有一个好的例子,但我认为我一直都有。
在我的咨询工作中,我为医疗应用中的药剂师设计了一个仪表盘,构建它的目的是让他们能更快地理解绩效分析。任务简报关注的是理解速度,而其背后的原则是将信号与噪声分离,使需要药剂师关注的数字凸显出来。我现在认为,让那个设计负责任的,与其说是它展示的数据,不如说是它留给人的判断。这个工具缩短了通往理解的路径,却没有把决策从对它负责的人手中拿走。
如果持有覆盖权的人已经失去了知道何时使用它的知识,那么覆盖权就意义不大。
把这一点与前面讨论过的知识工作者调查放在一起看。它所描述的模式,正是那条设计原则的后半部分被丢弃时会发生的情况。系统处理常规事务,人只剩下例外情况。原本会让他们为这些例外做好准备的实践悄然消失,而当不寻常的情况终于到来时,监督该系统的人是其中准备最不充分的成员。
这就是为什么我把技能保留本身视为一道护栏,而不是事后的培训补充。如果持有覆盖权的人已经失去了知道何时使用它的知识,那么覆盖权就意义不大。用 HASI 的术语来说,Research 阶段问的是系统将吸收哪些技能。Advisory 阶段决定其中哪些必须有意识地留在人手中。Educate 阶段让这些技能保持练习,即使机器可以更快地完成工作。一点点摩擦,是换来一个仍然能说不的人所要付出的代价。
HASI 的不足之处
一个声称要把人放在前排座位的模型,应该直白地说明它做不到什么。HASI 是一种设计人与他们所使用系统之间关系的方式,而这是有局限的。
最强烈的反对意见来自那次早期评审,而且它仍然成立。一个无法理解超级智能能做什么的物种,无法自信地为它做设计,而我们对这样一个系统提出的任何要求,都只会用到它能力的一小部分。评审提出了几种应对这个问题的方法,其中两种尤为突出。一种是把超级智能中一个受约束的、以人为中心的分支当作既定前提,这就搁置了它有多大可能性的问题,HASI 这个名字也由此而来。另一种是转向一种更窄的智能,使设计在今天就能奏效。我现在认为第二条路线是诚实的那条。本文中的方法适用于当下正在部署的系统,而对于超级智能,它提供的是一种希望,而不是一个计划。
它不能取代技术保障措施。遏制、测试和安全工程属于构建这些系统的人,任何工作坊都不能替代它们。它也不能阻止人们选择关闭护栏。那是治理和监管的问题,而不是设计的问题。参与有其自身的代价。它需要时间,而且可能被声音最大或资金最雄厚的一方主导,它还带来了困难的问题:一个系统的弱点有多少可以与外部人士分享。远见并不做预测。它让我们为一系列未来做好准备,并且会错过一些重要的未来。
一个无法理解超级智能能做什么的物种,无法自信地为它做设计。
说到底,HASI 仍然只是一个提案。它是我自 2016 年以来的一个想法,但我从未在前沿系统上测试过它,我宁愿把这一点说出来,也不愿暗示一份我并不拥有的过往记录。我能说的是,RACE 在真正复杂的组织问题上经受住了考验,而让受影响的人尽早参与进来,是一条可以广泛适用的逻辑。它在先进 AI 的规模上是否成立,是下一个十年要回答的问题,我欢迎有能力检验它的人加入。
现在该做什么
对从业者和组织来说,实际步骤并不复杂,而且没有一个需要新技术。
第一,在决定一个系统获得多少自由之前,先梳理它会影响到谁,包括那些其技能将被它吸收的人。第二,把自主性的界限写成有明确责任人的决策,涵盖系统可以独自做什么、什么需要人批准、什么绝不能做。第三,在发布前与将负责监督该系统的人一起演练失败情形,让尴尬的场景在修复成本还低的时候就被讨论。第四,保护那些让监督真正有效的技能,即使机器能更快完成工作,也要保留人工练习、手动模式和清晰的解释。
一个具体例子:药房
设想一家社区药房引入 AI 系统,通过交叉核对患者记录、药物相互作用和剂量范围来审核处方。药剂师常被告知,这类工具将取代他们的职业。迄今为止的证据指向一种更安静的风险。行业报道描述药剂师的角色正从管理产品转向临床判断,并警告自动化偏见——即习惯性地听从机器的建议而非自己的判断。8 这正是这四个步骤所要应对的情形。
第一,梳理受影响的人。药剂师承担审核技能和职业责任,技术员录入和调配处方,患者依赖这两者,开方者接收系统的查询。系统所吸收的技能是例行检查,例如相互作用筛查,药剂师正是通过这类检查建立判断力。
第二,写下界限及其责任人。系统可以不经询问进行计数、预填、标记和排序。在任何处方被审核或发放之前,它需要药剂师的批准。它绝不能自行发放高风险药物,或推翻一个被标记的相互作用。主管药剂师负责审核规则,运营负责人负责例外情况,供应商负责报告模型的表现。明确责任人很重要,因为加拿大和美国的监管机构倾向于原则而非固定规则,而 AI 辅助错误的责任归属仍未确定。9
第三,在发布前演练失败。药剂师、技术员和一位患者代表走查各种场景,例如系统漏掉一个相互作用、标记太多以致员工不再阅读标记,或在一天最忙的时段离线。每个场景都以一位具名责任人和一个手动后备方案收尾。
第四,保护技能。部分审核手工完成,在药剂师看到系统建议之前先完成一部分检查样本,每个标记都解释其触发原因,这样药剂师仍然是行使判断的那个人。
就四个层级而言,临床审核保持在辅助(assist),而计数和库存可以转向自动化(automate)。结果是药房被有意识地改变,而不是默认被吞并。
设计者有其特殊的作用。在关于自主性的决策做出时,我们很少在场,但我们每天都在塑造人们如何看待、信任和推翻这些系统。这个角色值得去争取。
文章标题:我在2016年写下的关于失控AI的文章,以及后来发生了什么
正文: 我从一个游戏开始,游戏里的机器人几秒钟就能打败我。机器人本身并不聪明。是人决定了它们的攻击力度,而菜单让我选择自己能承受多少。接下来十年的问题是,对于影响更为深远的系统,谁来控制这个设置,以及他们是否仍然明白这个设置起什么作用。
我们来谈一个复杂的问题。
如果你正在经历一场变革、面临企业设计挑战,或是遇到一个答案并不明显的组织问题,让我们一起探索它。
取得联系 → 在 LinkedIn 上联系 →
脚注
- Quake III Arena(id Software,1999)提供五个难度等级,这些等级只影响机器人的 AI。参见 Quake Wiki,“Difficulty,” https://quakewiki.org/wiki/Difficulty,以及 Q3A 机器人手册,https://icculus.org/gtkradiant/documentation/bot_manual/characteristics.html↩
- 这份意向声明写于2016年,用于申请 OCAD University 的战略前瞻与创新研究生项目。↩
- 这些是本文的工作定义。文献中对这三个术语(AI、AGI、ASI)的使用存在多种相互重叠的方式。↩
- Future of Life Institute,“Autonomous Weapons Open Letter: AI & Robotics Researchers,” 于2015年7月28日在国际人工智能联合会议上公布。https://futureoflife.org/open-letter/open-letter-autonomous-weapons-ai-robotics/ 在发布报道中提到的签署者包括 Elon Musk 和 Stephen Hawking。参见 NPR,“Researchers Warn Against 'Autonomous Weapons' Arms Race,” 2015年7月28日。https://www.npr.org/sections/thetwo-way/2015/07/28/427189235/researchers-warn-against-autonomous-weapons-arms-race↩
- Regulation (EU) 2024/1689(《欧盟人工智能法案》),自2024年8月1日起生效,各项义务分阶段适用。参见 Kennedys,“The EU AI Act implementation timeline”(2026)。https://kennedyslaw.com/en/thought-leadership/article/2026/the-eu-ai-act-implementation-timeline-understanding-the-next-deadline-for-compliance↩
- 微软和卡内基梅隆大学研究人员对319名知识工作者进行的调查,报道于“Microsoft paper warns AI use erodes critical thinking at work,” AI Weekly。https://aiweekly.co/alerts/microsoft-paper-warns-ai-use-erodes-critical-thinking-at-work↩
- “Designing the Human-AI Relationship,” bhooshan.com,2026年5月19日。https://www.bhooshan.com/designing-the-human-ai-relationship/↩
- “The Precision Prescription: How Automation Is Revolutionizing Medication Safety,” Pharmacy Times,2026年7月。https://www.pharmacytimes.com/view/the-precision-prescription-how-automation-is-revolutionizing-medication-safety↩
- “Responsible Adoption of Artificial Intelligence (AI) in Pharmacy Practice: Perspectives of Regulators in Canada and the United States,” Pharmacy,第13卷,第6期,文章152。https://www.mdpi.com/2226-4787/13/6/152。关于其研究结果的摘要,参见“AI in pharmacy requires human oversight and ethical safeguards,” Devdiscourse。https://www.devdiscourse.com/article/technology/3674646-ai-in-pharmacy-requires-human-oversight-and-ethical-safeguards↩
#ai #design-thinking #human-ai #inclusive-design #research #systems-thinking
写成 {{NAME_ab12cd34}} 形式的值是真实值的占位符。请完全按原样使用它们,无论是在回复中还是在工具调用中都是如此:它们会在任何内容运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。