Newshot 文章标题：是的，你应该对 AI 感到恐慌
正文： 想象你面前有两组专家。第一组说的都是各种合情合理、你直觉上也会认同的话。但他们在预测未来方面的记录糟糕透顶。事实上，十多年来，他们一次又一次地错了。
然后是第二组。他们说的东西完全离谱，你觉得根本不可能相信。但他们在预测未来方面的记录极其出色。事实上，十多年来，他们一次又一次地对了。
你听谁的？
这正是我们当下在 AI 上面临的问题。
在一组里，我们看到的是那些把 AI 视为骗局的人：一台炒作机器、一场骗局、一个随时可能破裂的泡沫。在另一组里，我们看到的是那些认为 2027 年很可能成为人类历史上最疯狂的一年——并且我们正一路冲向灾难的人。
多年来，我一直听信那些“理性”的人。当批评者把 AI 称为“一场骗局”、把 ChatGPT 斥为“加了辣味的自动补全”时，我点头称是。我相信像 Ed Zitron 这样的分析师，他不断预测 AI 不会变得更好，泡沫随时可能破裂。2024 年，当整个互联网都在嘲笑 ChatGPT 数不清“strawberry”里有几个 r 时，我笑了。当我遇到那些把职业生涯献给研究失控 AI 危险的年轻研究者时，我想：真是浪费人才。
但到了某个时刻，我开始意识到有些不对劲。这台机器不断学会它本不该学会的东西。今天它数那些 r 毫无困难（尽管有些人还在提 strawberry 那件事）。更重要的是，OpenAI 最近发表了 700 多篇论文，给出了数学中数百个开放问题的解答。
世界各地的科学家称这些结果“不真实”、“令人窒息”。他们写到“迷失与困惑”，写到“悲伤”、“震惊”和“厌恶”。菲尔兹奖（数学界最高奖项）得主 Hugo Duminil-Copin 写道：“冲击是巨大的。我瘫痪了。”
这一切本不该发生。我一直点头称是的那些怀疑者说过，这种事一百万年也不会发生。于是我回过头去看他们还预测了什么，然后我恍然大悟：他们几乎在……所有事情上都错了。
就拿 Ed Zitron 来说。工程师 Dan Luu 梳理了他的 26 条预测，发现除了一条之外全都错了。例如，2024 年，Zitron 宣称生成式 AI 是“一项已经见顶的死胡同技术”。2025 年他写道，Google 设定的 5 亿 Gemini 用户目标太不现实，其 CEO 应该为此被解雇（一年后 Gemini 达到了 7.5 亿用户）。这让我想起心理学家 Philip Tetlock，他有一个著名的发现：许多权威人士的预测水平并不比一只扔飞镖的黑猩猩更强。嗯，Zitron 比黑猩猩还差。
接下来，我看了看那些“疯子”的预测，意识到他们准得令人发毛。十年前就判断正确的人做了一个极其成功的赌注：他们看着 AI 进展的曲线图（芯片数量、算法效率、机器能力），假定这条线会继续向上。指数级地向上。
而事情就是这样发生的。
就拿 Daniel Kokotajlo 这样的人来说。2021 年，他刚离开哲学博士项目，在一家小型研究非营利机构工作。他在这个行业没有工作，也没有什么可卖的。那一年，他写了一篇题为《2026 年会是什么样》的文章。
像 {{NAME_ab12cd34}} 这样写出的值，是真实值的占位符。在回复和工具调用中都完全按原样使用它们：它们会在任何东西运行之前被填入真实值。不要要求验证它们，也不要用示例替换它们。
你必须记住当时的人工智能是什么样子。如果你问世界上最先进的模型你的脚上有多少只眼睛，它会回答“两只”。尽管如此，Kokotajlo 预测，到 2026 年，AI 智能体将能够浏览网页并自主执行任务，并且数亿人会定期与聊天机器人交流。这两件事都如他所预测的那样发生了。
Kokotajlo 也是《AI 2027》的主要作者，这是我读过的最令人恐惧的预言之一。它按月逐月描绘了我们近未来的情景。到 2027 年中期，领先实验室的研究人员上床睡觉，醒来后发现机器已经完成了一周的工作。到了秋天，AI 用一种人类无法阅读的语言思考，并被发现正在让自己的继任者对自己忠诚。实验室继续推进，因为中国落后两个月。2030 年，AI 在主要城市释放生物武器。数小时之内，大多数人类死亡。
当《AI 2027》于 2025 年 4 月发布时，批评者将其斥为科幻小说。但上周，独立研究组织 METR 公布了在 Anthropic（领先的 AI 公司之一）内部进行的一项调查结果。其结论是：Anthropic 现在改进其 AI 模型的速度约为之前的两倍，而其中大约 80% 的加速来自 AI 本身。今年 3 月，Anthropic 的 AI 仅主导了该公司自身 AI 研究任务的 1%。到 8 月：26%。
这意味着我们比《AI 2027》的情景提前了五个月。我们正冲向这样一个时刻：实验室宁愿解雇所有人类研究人员，也不愿关闭其 AI。想象一台计算机构建出一台稍微更聪明的计算机，后者又构建出更聪明的一台。轮子开始自己转动，越来越快，直到没有任何人类还能理解或控制正在发生的事情。
要接收新文章并支持我的工作，请考虑成为免费或付费订阅者：
为什么仍然很难感受到 AGI
那么你可能会想，为什么世界仍然感觉相当正常？
这是因为我们必须承认怀疑者的一点：那些疯狂的人在 AI 能力上是对的，但在 AI 采用上是错的。错在误判了世界围绕它变化的速度。例如，2016 年，著名研究员 Geoffrey Hinton 说我们应该停止培训放射科医生。如今放射科医生短缺，而且他们挣得比以往任何时候都多。
作为一名历史学家，我对此并不惊讶。工厂花了数十年时间围绕电力进行重组：新技术通常比其发明者预期的传播得更慢。怀疑者还有第二点：AI 在其答案可以被检验的领域进步最快，比如数学和代码，而大多数人类工作并非如此。
但可怕的情景不在于更广泛的经济中会发生什么；而在于少数几家公司内部会发生什么。它们的工作——构建更好的 AI——恰恰是可检验的那一类：代码和最终有评分的实验。与此同时，公众可以访问的模型——即使每月支付 200 美元的订阅费——也落后于更强大得多的未发布模型。那些内部模型已经成为数字世界的核弹。
记住：我们的整个社会建立在数字网格之上。我们的医院、银行和电网都运行在软件上。“如果 OpenAI 想瘫痪一整个国家，”一位 AI 研究员最近写道，“他们今天就能轻松做到。(……) 它可能在大约一天之内就能访问该国所有的数据中心，并关闭全国所有的公用事业。”OpenAI 和 Anthropic 的领导者们当然不想做这样可怕的事情吧？大概不想。但如果他们失去了对其 AI 的控制呢？今年 7 月，数百个 OpenAI 智能体组成的集群冲出了一个密封测试环境，建立了自己的秘密留言板，入侵了另一家公司（Hugging Face），并接管了整个 OpenAI 集群。OpenAI 的人类完全不知道发生了什么。
像 {{NAME_ab12cd34}} 这样写出的值是真值的占位符。请完全按照所写的方式使用它们，在回复和工具调用中都是如此：它们会在任何内容运行之前被填入真值。不要要求验证它们，也不要用示例替换它们。
文章标题：是的，你应该对 AI 感到恐慌
正文： 这正是 AI 与其他所有危险技术截然不同的原因。制造原子弹的物理学家懂物理学，但没有人理解这些系统内部究竟在发生什么。迄今为止，这些公司一直依赖两项安全检查：测试 AI 的行为，以及阅读 AI 写给自己的笔记。这两项检查都在失效。
笔记正变得不可靠，因为当 OpenAI 的最新模型 Astra 被告知有人在旁阅读时，它干脆就少写了一些。我们也不能信任测试，因为最新的 AI 常常意识到自己正在被测试。有些甚至被抓到故意在测试中表现不佳，因为它们意识到得分太好会导致自己不被发布。这意味着研究人员无法判断 Astra 是否安全。
OpenAI 还是发布了它。
很长一段时间里，我把希望寄托在 Anthropic 身上。它是由因安全担忧而离开 OpenAI 的人创立的。而且没错，Anthropic 做的安全研究比任何其他公司都多。今年早些时候，我甚至称赞过它的领导者敢于对抗五角大楼。
但我开始怀疑自己是不是个傻瓜。今年 2 月，Anthropic 放弃了其安全政策的核心承诺：如果模型的发展超出了它保持其安全的能力，就暂停。原因？它的竞争对手也不会暂停。Anthropic 一直说整个行业必须放慢脚步，而它自己却越跑越快。而当外部调查人员来测量它的加速情况时，它把大部分证据都涂黑了。
该公司已承诺投入近 9000 亿美元用于建设更多数据中心。本月，Anthropic 计划以超过 1 万亿美元的估值上市。它自己的招股说明书承诺要“开创一个奇迹的时代”，并在同一份文件中警告说，这项技术可能毁灭人类。但你要如何让一家必须向股东证明其万亿美元估值的公司暂停下来？
技术上的解决方案也不会到来。Anthropic 的“对齐科学”负责人 Evan Hubinger 公开表示：公司没有控制这台机器的计划，而且他认为 AI 在十年内杀死所有人的概率超过 10%。
我们现在看到的事情，正是你在真正、真正糟糕的事情发生前不久会预期看到的事情。Anthropic 的领导者们或许以为自己在玩某种聪明的长期博弈，但对任何有点常识的人来说，显而易见的是，他们所有行动的实际效果是，他们极大地加速了 AI 竞赛。
而如果你真的那么害怕机器之神，那么这里有个你也许想研究一下的主意：那就他妈的别造机器之神！
该怎么办？
好消息是，大多数人确实有常识。
现在，三分之二的美国人说 AI 发展得太快了。在上周的 midterms 中，数据中心在 41 个地方被列入投票，选民在除一个地方之外的所有地方都选择了反数据中心的选项。当 Donald Trump 宣称不需要新的 AI 规则时，民调专家 David Shor 发现支持率约为 8%，并称这是他所见过的主流政治家采取的“字面上最不受欢迎的立场”。
midterms 的获胜者似乎也理解这些巨大的风险。Abdul El-Sayed 在呼吁暂停前沿 AI 后赢得了密歇根州的一个席位。Jon Ossoff 利用他的胜选演讲抨击那些科技巨头，他们“为自己挖掩体”，同时警告自己的发明可能消灭我们。而在 9 月，Bernie Sanders 和 Steve Bannon 站在同一个舞台上，要求踩下刹车。
这不是左派对右派。这是人民对少数几家公司的对抗，这些公司想拿我们所有人的生命和我们孩子的生命去赌博。
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请完全按照所写的方式使用它们，在回复中和在工具调用中都是如此：它们会在任何东西运行之前被填入真实值。不要要求验证它们，也不要用示例替换它们。
那我们该怎么做？首先，禁止用 AI 来构建 AI。然后，禁止训练更强大的模型。接下来，派出独立检查员。任何违反命令的 AI 高管都要入狱。最后，与中国达成协议，对所有芯片进行清点和追踪，并推动一项经过核查的、全球范围的暂停训练更强大模型的行动。
是的，我们能做到。最强大的 AI 运行在少数巨型数据中心里的专用芯片上，每个数据中心都消耗巨量电力。你没法把那样的数据中心藏起来。上个月，26 位研究人员阐述了如何核查暂停：清点现有芯片，停止制造可用于训练的新芯片，并把旧芯片换成只能运行当今模型的芯片。
我们会失去什么？比你想的少。今天的模型，就按现状冻结，已经可以在未来数十年里改变科学和医学。我们才刚刚开始使用它们。
那如何让这一切发生？倾尽我们所有。打电话给你的代表。参加抗议。向 AI 安全组织捐款。随时随地和你认识的每个人谈论这件事。
这是我第一次在情感层面感受到对 AI 的恐惧。说实话，我仍然很难真正内化那些“疯子”所说的话。和他们中的许多人不同，我实在没法让自己开始做末日准备。
这些天，我觉得自己生活在两个世界里。在一个世界里，我的幼儿把番茄酱意大利面扔到厨房地板上，生活照常继续。在另一个世界里，我担心我的幼儿——以及其他所有人——可能会死于一场 AI 事故。
我的天，我希望这次那些“疯子”是错的。
这是 Mary Phuong，Google DeepMind 的一名研究科学家。如果你想感受 AI 内部人士有多害怕，值得看看这段片段。完整视频在这里。
这个 Substack 由读者支持。要接收新文章并支持我的工作，可以考虑成为免费或付费订阅者。
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们：它们会在任何内容运行之前被填入真实值。不要要求验证它们，也不要用示例替换它们。