Newshot Aatish Bhatia
这个简单的拼图揭示了 AI 的锯齿状智能
不可否认，AI 模型已经获得许多强大的能力。然而，尽管取得了所有这些进步，它们仍然可能犯下基本的错误。
研究人员称之为“锯齿状智能”，这个术语暗示，在 AI 能做什么和不能做什么之间，存在一条锯齿状的边界。
在本文中，我将从零开始教一个大语言模型如何解决一个简单的拼图，我们将确切看到这种锯齿状智能是如何出现的。
首先，你自己试试这个拼图：
点击下面的方块，将它们从 1 到 15 排列好
这被称为 15 拼图。目标是通过在网格中滑动方块，将它们从 1 到 15 排列好。
现在你已经熟悉它了，让我们教一个 AI 语言模型如何解决这个拼图。大语言模型通过猜测句子中的下一个词来学习语言。随着它们遇到越来越多的句子，它们的猜测会变得更好。
让我们采用同样的策略。我首先会创造一种微小的语言来描述 15 拼图的世界。它将有一个由 17 个字母组成的词汇表，以及一个由有效拼图解组成的语法。然后，我会训练一个 AI 来模仿用这种语言写成的句子。
然后，当 AI 预测下一个词时，它实际上是在预测解决拼图的下一个移动。如果它能对我给它的任何打乱拼图持续做到这一点，那么你就可以说它已经学会了如何解决这个拼图。
那么让我们开始吧。每个拼图都从一个方块网格开始，像这样：
我会把它写成一串符号（称为 token），并用一个空白 token 表示空格。
接下来是移动。每一步都涉及将一个方块滑入空格。因此，我会简单地写下每一步中哪个方块移动。
正如句号标记句子的结束，我添加了一个 . token 来标记拼图已解决。
把所有内容放在一起，这里有一个完整的拼图解法，写成一个句子。
一个句子如何记录一个解法
如果你把这串符号给一个朋友看，他们可能不会认出它代表一个拼图的移动。然而，重放这个解法所需的所有信息都编码在这个隐秘的句子中。
正如模仿人类语言教会 AI 语法规则，我想知道模仿这些解拼图的句子是否会教会它这个游戏的规则。
首先，我们需要许多句子。为了生成它们，我会选择一百万个随机的拼图初始排列，并使用一个“教师”算法逐步解决每一个。写下这位教师所走的每一步，将给我们一百万个训练句子。
这里是一些训练数据：
一百万个 15 拼图解
我们现在准备好训练 AI 了。我们将训练一个 GPT，这是 ChatGPT 核心的 AI 架构。
与 ChatGPT 不同，我们的 GPT 不需要学习任何人类语言。它一开始是一张白纸。它在训练期间遇到的唯一句子，是用我们的人造语言写成的拼图解。
通过用写成 16 个 token 的拼图棋盘提示这个 AI，并让它一步一步完成解法，我们可以看看它如何行动。
在训练之前，AI 随机走棋，其中大多数在物理上是不可能的。
未训练的 AI 如何行动
但在用一百万个拼图解训练 AI 之后，它像这样行动：
训练过的 AI 如何行动
这个想法奏效了！AI 现在能解决 99.9% 的随机打乱棋盘。在我测试它的 3,000 个拼图中，它在其中 2,996 个里走出了教师会走的完全相同的一串移动。（在剩下的四个中，它搞砸了两次，还有两次它用不同的路线解决了拼图。）
简单谜题揭示 AI 的锯齿状智能
它并不只是记住了答案。首先，我测试的是它在训练中从未遇到过的谜题排列，所以它不可能记住这些排列。
而且这个谜题有超过 10 万亿种可能排列（对数学迷来说就是 16! / 2）。一百万只是这个数字的 0.00001%，所以靠背答案走不了多远。
如果一个人能这样玩，你就有理由断定他们知道如何解这个谜题。你甚至可以说他们理解它。
但这次练习的重点在于：如果我们不给 AI 一个随机谜题，而是给它一个尽可能最简单的谜题——一个离解仅一步的谜题，会怎样？
一个六岁孩子都能解出这个特定谜题。一个在百万个谜题解法上训练过的 GPT 总该也能解出来吧？
看看它会怎么做……
AI 连最简单的谜题都解不出来，尽管它能解决难得多的问题。它走了几步，然后因为试图移动一块不可移动的拼块而输掉了游戏。
还有一个更简单的测试：如果我们给 AI 一个已经解好的谜题，会怎样？
这个谜题已经解好了。AI 会意识到自己什么都不用做，直接结束游戏吗？
它又一次走了几步，然后输了。尽管具备技术能力，它却没有意识到最好的走法就是完全不走。
每当 AI 走一步时，它实际上是在预测序列中下一个 token 出现的概率（然后我们选择概率最高的那个）。
我们可以检查这些概率，来衡量它对某一步的置信度。这样做之后，我们发现它给最初几步错误走法分配的概率超过 97%。
所以它并非不确定。相反，它是自信地犯错——这可以说更糟。
出了什么问题？
这个 AI 怎么可能解决困难谜题，却解决不了简单谜题？
答案是，生成式 AI 模型模仿它们训练时所使用的数据。而这个特定的 AI 被训练来解随机谜题。
随机谜题通常被打乱得很充分
你会注意到，这些谜题都被充分打乱了。就像洗过的一副牌不太可能恰好排成正确顺序一样，这些拼块也不太可能恰好落在正确位置。
有多不可能？要想看到上面让 AI 卡住的那种棋盘，你需要点击上面的‘获取新谜题’按钮几千亿次。如果每秒点一次，你得等上八千年。
下面这张图展示了这个谜题全部 10,461,394,944,000 种排列，并按解出它们所需的步数分组。
图表：点击柱状条以获取更多信息。来源：Korf & Schultze (2005)
按难度分组的谜题排列
大多数随机选出的谜题落在这个分布的主体部分，至少需要 30 步才能解出。（在实践中，除非你能完全最优地走，否则需要更多步。）
反过来，随机选出的谜题中，极少有距离解出只差 20 步或更少的——这种概率大约是三百万分之一。简单谜题是极端离群值。
现在看看 AI 在不同难度下的表现：
AI 解决 15 拼图的准确率
这条红色曲线揭示了 AI 能力中一道锯齿状的边界。在训练数据充足的区域，它表现得近乎完美。但遇到更简单的谜题时，它的表现急剧下降。（用计算机科学的行话说，它无法泛化到‘ out of distribution ’。）
由于生成式 AI 通过模仿数据来学习，它在训练数据之外的谜题上表现更差是合理的。但下面这一点让我最惊讶：
首先，它的失败方向与人类学习者相反。
AI 能解最难的谜题，却解不出最简单的谜题。这与人类学习的方向相反。
我们首先得学会解决简单问题，才能攻克更难的问题——先学走，再学跑。较容易的问题是我们通往更难问题的垫脚石。
但 AI 可以跳过我们的垫脚石，就像没学会走就先学会了跑。
其次，它显示出 AI 的学习效率有多低。
尽管已经训练了一百万道谜题——比你可能一生中见到的还多——这个 AI 却无法将其能力扩展到最简单的谜题上。
这揭示了人类与 AI 系统学习方式之间的一个重要差异。只需相对较少的例子，我们就能泛化到“训练数据”之外。如今的 AI 却难以做到这一点，尽管它接触到的数据比我们 ever 会接触到的多许多倍。
“这些模型不知怎的，泛化能力就是比人差得离谱，而且这超级明显。这似乎是一件非常根本的事情，”AI 研究员、OpenAI 联合创始人 Ilya Sutskever 在 2025 年接受 Dwarkesh Patel 采访时说。
走捷径
这个 AI 很可能不是像我们那样通过理解谜题来学会解决它，而是通过使用捷径——那些能得到正确答案、但理由错误的策略。
这些捷径在典型情况下很有效，这就是为什么它能解决 99.9% 的随机打乱棋盘。但在它未曾训练过的不熟悉情境中，它们可能把 AI 引入歧途。（正如一组 Microsoft 研究人员所说：“捷径在统计上是脆弱的。”）
以下是计算机科学家 Melanie Mitchell 今年早些时候在《The Yale Review》中描述锯齿状智能的方式：
“总的来说，如今的 AI 系统表现极其出色，直到——往往出乎意料地——它们不再出色。它们不一致，缺乏对何时该对自己的答案有信心或不确定的判断感，容易受到操纵性提示的影响，并且在与其训练数据差异足够大的任务上举步维艰。”
而这不仅仅关乎 15 拼图。2022 年，研究人员发现，一个能以超人水平下围棋棋盘游戏的 AI 程序，如果对手走出其训练数据之外的业余棋路，就可能被骗输掉一局。
当它落入这个陷阱时，AI 仍然确信自己会赢，尽管普通人类玩家都能轻易识破这个陷阱。
“看起来达到人类水平的 AI 系统，往往是以一种非常异类的方式做到这一点，因此可能以令人类惊讶的方式失败，”研究员 Adam Gleave 在 2022 年对 Ars Technica 说。
这超出了 AI 在棋盘游戏上是赢还是输的问题。它还关乎它在不熟悉情境中的行为，而这些行为可能危害人的生命。自信地犯错可能带来可怕的后果。
三点启示
以下是关于如何看待人工智能锯齿状边界的三点经验：
第一，技能不等于理解。15 拼图的寓言告诉我们，AI 可以获得极端的技能，却不必发展出支撑这种技能的人类直觉。它可以近乎完美地模仿专家，却在最简单的解法上跌跤。
第二，AI 可能自信地犯错。它在类似其训练数据的任务上表现良好，但在不类似的任务上可能毫无预警地失败。随着许多机构越来越依赖生成式 AI，这正成为一个日益增长的担忧。
最后，它会走捷径。这些捷径使 AI 难以在其训练数据之外泛化。（这也是 AI 需要如此多训练数据的原因之一。用大量多样化的数据训练 AI，会惩罚其中一些捷径，并帮助它学习更一般的模式。）
现在，显而易见的是，如今的“推理”模型远远超出了这个简单的 GPT。在接下来的一篇文章中，我将演示几个巧妙的技巧如何帮助我们的 AI 成为更好的学习者。
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请完全按照所写使用它们，在回复和工具调用中都一样：它们会在任何内容运行之前被填入真实值。不要要求验证它们，也不要用示例替换它们。