你一周有多少时间花在回答问题上?(赞助)

新员工、支持团队、PM 以及你的编码代理都需要了解产品如何运作以及为何如此运作。今天,你就是那个为他们指明正确方向的人。
Unblocked 会从你的代码、PR、工单、Slack 和生产数据中找出当前且相关的信息,因此:
- 每个人都能在 Slack 中获得带引用的答案,而无需拉来工程师
- 当答案转化为修复时,云代理会起草 PR
- 你的代理生成的代码遵循过往决策,无需人工引导
了解其工作原理
当你让某人复核一个答案时,你通常期望会得到更好的答案。
例如,当我们第二次查看发票时,可能会发现某个项目被计算了两次。然而,相反的经历也相当常见。你可能会重新审视考试中一个简单直接的问题,然后说服自己其中必有陷阱。在这种情况下,你最终可能会改掉一个最初完全正确的答案。
推理语言模型可以做到这两者。它可能会利用额外时间来发现错误,也可能利用那段时间发展出错误的解读。两种情形都源于语言模型的一个基本特性。一旦模型写下了一个想法,几步之后你就可以基于那个想法继续构建。但究竟是改进答案还是弄错,取决于原始问题。
在本文中,我们将尝试理解为什么思考更久反而会让 LLM 变笨。以下是我们将要涵盖的内容:
- 语言模型如何在其答案基础上构建
- 推理模型在发送回复之前会发生什么
- 在问题上花费额外时间的优势
- 如何教模型利用额外步骤
- 当模型已经做得足够时
- 额外的一步如何将正确答案变成错误答案
免责声明:本文基于多个来源公开分享的细节。参考文献附于文末。如果你发现任何不准确之处,请留言评论。

语言模型如何基于自身的文字构建
LLM 以称为 token 的小片段生成文本。你可以将 token 视为一个词、词的一部分或一个符号。当模型选择下一个 token 时,它会将原始问题以及已经生成的文本一并考虑。这意味着模型在答案开头附近写下的任何内容,都可能对它在后续多个句子之后所做的计算产生重大影响。
假设你有一家商店,将一件 100 美元的商品提价 20%,然后将新价格降低 20%。最终价格是多少?不假思索的话,你可能会忍不住说 100 美元。这是因为百分比数值看起来相同,而“提价”和“降价”这两个词似乎相互抵消了。
但你可能已经猜到了,这样的答案是错误的。最终价格是 96 美元。而以系统化的方式得出这个答案的最佳方法,是写下中间答案。也就是第一次计算的结果,应该是 120 美元。这使得计算降价 20% 后的价格变得容易。
LLM 也能从同样的检查中间结果的序列中受益。一旦它发现新价格是 120 美元,就可以轻松计算出折扣后的价格。可以看到,问题被分解成了更小的问题,并将第一个答案的结果带入第二个。这种步骤序列也被称为思维链。在这个例子中,链中最有用的部分是一个数字,它使处理下一次计算变得容易。
推理模型在回复之前会发生什么?
文章标题:为什么想得越多反而会让 LLM 变笨
正文: 当你要求一个普通 LLM 逐步解释一次计算时,它可以给出完整的解题过程。然而,像 OpenAI 的 o1 这类推理模型,是专门经过训练的,会在生成最终答案之前先生成中间过程。即使你只问最终价格,推理模型也会先推算价格变化,然后再返回最终答案。
大多数 LLM 使用一种叫作 Transformer 的神经网络。基于 Transformer 的模型的能力之一,是把它当前正在生成的文本与之前生成的文本中的相关部分联系起来。这种基础设计思路既能处理快速回复,也能处理较长的计算。DeepSeek 也通过其模型展示了,进一步的训练如何能教会一个现有的基于 Transformer 的模型更有效地利用这种中间结果的能力。

你可以把这些中间结果理解为一种草稿纸。假设你给模型 3 份不同人的日历,并问所有人都有空的最早半小时是什么时候。最终答案可能是“周二 11 点”。但在生成这个答案之前,模型会先比较这些日历,发现更早的时段只对两个人可行,然后继续寻找下一个可用时段。答案可能只有几个词。但幕后发生的工作远不止这些。
用于这项工作的 token 通常被称为推理 token 或思考 token。许多模型提供商会将其模型的原始推理过程保密,可能只显示一份摘要,让用户以为后台所做的工作主要只是某种停顿。有时,模型的推理轨迹看起来像是两个人之间的对话,因为一句话提出一个想法,后面另一句话又对它提出异议。而这两句话可能都是由同一个模型生成的。
在难题上多花时间的优势
你可以在两个主要时机把算力花在模型上。
第一个是训练时,模型根据示例或反馈调整其内部设置。这些改变会对模型如何回答未来的问题产生很大影响。
第二个是推理时。此时,训练好的模型使用训练时确定的设置来回答眼前的问题。如果你在某一次请求上花更多算力,这叫作推理时扩展(inference-time scaling),也称为测试时扩展(test-time scaling)。
假设你有一段代码,本应处理列表中的每一项。它从 1 开始给各项编号,并在当前位置小于列表项目总数时持续运行。现在,想象有用户抱怨最后一项总是被漏掉。模型可能会立刻想到,循环的停止条件可能有问题。这是个相当合理的猜测,而且有一种简单的方法可以验证它。
以三个项目为例,循环会走到位置 1 和位置 2。当它走到位置 3 时,条件检查 3 是否小于 3。结果为假,于是循环在处理第三项之前就停止了。仅仅通过一个小例子把代码走一遍,就能把一个可能的怀疑变成最终的解釋。这也表明,让循环在两个数相等时也继续运行,就能修复这个 bug。
这是多花时间的一种方式。在一次尝试中,你可以让每一步都建立在前一步发现的结果之上。另一种做法是提出几个独立的解法,再比较它们的最终答案。不过,独立的尝试之所以能带来更多帮助,是因为每次尝试可能犯下不同的错误。相比之下,当模型沿着一个有希望的思路走得足够远、从而验证它时,一次更长的单独尝试要有益得多。
如何教模型使用额外的步骤
模型如何学会检查自己的工作是有回报的?
作为参考,DeepSeek 用他们的 R1-Zero 模型探索了这一点。团队从一个预训练模型入手,该模型已经学会了语言、代码和数学的模式。随后又使用了强化学习。模型尝试解决问题,获得对其回答的评分,并逐渐调整它倾向于生成什么样的回答。

有些问题受益于这种方法,因为你可以自动检查它们的答案。例如,对于一道结果已知的数学题,程序可以轻松地将模型的答案与标准答案进行比较。对于一道编程题,你可以用测试来显示什么可行、什么不可行。另一种解法可能两种情况都能通过。但即使两种解法都附有令人信服的解释,测试也能区分这两者。
DeepSeek 使用了一种名为 Group Relative Policy Optimization(GRPO)的训练方法。

这种方法背后的思路是,对于一个问题,模型会生成一组尝试。有些可能直接解决了问题。有些可能修正了先前的错误。另一些可能给出了错误答案。训练过程可以给每次尝试打分,并将其得分与其他尝试的得分进行比较。完成之后,你就可以调整模型,让它偏好那些比同组表现更好的尝试。
这里有两项工作。
一项是给一次实际的尝试打分。另一项是估计一次尝试通常可能得到什么分数,以便训练过程有可比对的东西。
一些强化学习方法还会训练一个单独的模型,称为 critic model,来提供这个估计。GRPO 则从这一组自身的得分中获得比较基准。R1-Zero 模型利用这些规则来给正确性打分,并检查回答是否遵循了正确的格式。这使得系统能够识别出一次成功的尝试,即使没有人写出模型解题所走的具体路径。
在训练过程中,DeepSeek 观察了 R1-Zero 模型的一个中间版本处理一个含有平方根的方程。模型对两边平方,并开始展开一个更复杂的表达式。然而,在中途,它停止了那种做法,回到原方程重新考虑自己做过的事。进行到一半时,它中断了那种做法,回到原方程,重新审视自己的步骤。团队把这视为一个“顿悟时刻”。
对他们来说,有趣的地方在于,回去的决定是从哪里来的。团队给出了一个问题、一个模型可以写下解题过程的地方,以及一种给结果打分的方式。这就把策略的选择留给了模型。然而在计算的某个特定时刻,模型给出了一个回答,认为自己某一步值得再看一看。
你大概能看出,在许多练习题上,这种行为为什么会如此有用。

为什么思考更多会让 LLM 变笨
一个在早期犯错后继续进行的尝试,可能会把这个错误一路带到答案中。一个重新审视那个可疑步骤的尝试,则很有可能纠正过来并获得更好的分数。反馈作用于整个尝试。因此,你也可能有一次侥幸猜中,并且同样能得分。然而,在许多不同的问题上,这种策略具有更多优势。
这是 DeepSeek 从预训练模型直接进行强化学习的实验。对于发布的 DeepSeek-R1,团队还使用了示例。R1-Zero 有时会切换语言,或产生难以理解的解法。因此,团队用监督微调来启动 R1,这意味着在期望响应的示例上进行训练。
当模型已经做得足够时
第一种过度思考形式很容易被忽视,因为用户仍然会收到正确答案。
然而,在一项关于推理模型的研究中,研究人员展示了一个模型被要求计算“2 + 3”时可能发生的情况。它在第一个解法中得出了五,然后继续,直到其响应包含了对同一问题的十三个解法。几乎所有这些文本都出现在计算已被正确完成之后。
为什么模型即使已经得到正确答案还会继续?
想一想一次尝试是如何被评分的。如果你有两个响应都使用了要求的格式,并且都以 5 结尾,一个处理正确性的检查器可以给它们相同的分数。你可能有一个响应在简短计算后停止。另一个响应可能数物体、颠倒加法顺序。两者都得出正确答案。分数几乎无法指导哪个响应更好地利用了用户的时间。
如果你有一个确认答案的检查,它仍然可能很有价值。假设你计算一个订单的总额,然后将被计数的物品与原始订单表进行比较。即使你确认了总额,这种比较本来也可能显示出有一件物品缺失。如果你只是把自己那份不完整清单中的数字再次相加,你就不太可能发现那个特定错误。关键在于第二遍是否检验了第一遍可能遗漏的东西。
这说明为什么知道何时停止是一项单独的技能。拥有答案的用户可以回头看,并指出第一个正确结果。然而,回答新问题的模型通常必须在知道答案将如何被评判之前,决定另一次检查是否值得。在困难的问题上,如果模型停在第一个看似合理的结果,代价可能相当高。但在简单的问题上,再次检查的习惯可能导致为得到一个答案而长时间等待,这是不必要的。
一个额外步骤如何把正确答案变成错误答案
“2 +3”的例子展示了浪费精力的影响。然而,当额外推理引入错误假设时,你也可能遇到另一个问题。例如,假设你有一个关于时刻表上印着的火车出发时间的问题。一列火车计划在 9:00 出发,但它通常晚 10 分钟出发。
时刻表给出的时间是 9:00。假设模型立即识别出那个答案,但因为关于延误的那一点听起来太刻意而无法忽视,所以继续。它可能得出结论,火车很可能会在 9:10 出发。它甚至可能对计划出发和实际出发之间的差异给出合理的解释。如果它最终回答 9:10,计算是正确的。但模型已经从报告时刻
如你所见,模型仍然可以访问原始问题。发生变化的是它可以用来形成最终答案的文本。在回答早期,直接从时间表里说出预定时间显然是候选答案。到了后面,模型还生成了第二个答案,以及多句试图解释那个时间为何可能重要的句子。尽管每句话都说得通,但回答却偏离了模型原本的意图。对普通用户来说,这个答案甚至可能显得很蠢。
在考察思考时间与准确率之间的关系时,这一点也很重要。如果更长的回答包含更多错误,一种可能是:模型写得更长,是因为那些问题本来就难。更好的比较方式是,给同一个模型相同的问题,但让它具备不同量的推理能力。在困难问题上,额外的步骤可能会发现错误。但在简单直接的问题上,这些步骤可能只是重复一个简单结论,或者最终给出一个无关细节,而这就足以改变答案。
- 学习使用 LLMs 进行推理
- DeepSeek-R1:通过强化学习激励 LLMs 的推理能力