Newshot

大脑不以句子思考,大语言模型为何要?

Translation(model translation, not the source's own text)

文章标题:大脑不用句子思考,LLM 又何必?

正文: LLM 只运行一个循环:预测下一个 token。决定说什么和决定怎么说发生在同一次前向传播中,一次一个 token。而在人类身上,心理语言学把这两者视为不同的阶段。

最近的一篇论文《Next-Concept Modeling》(NCM)采用由粗到细的方式生成文本:先出要点,最后才是确切的措辞。它不是类人的思考,其作者也没有声称它是。但它以一种有用的方式打破了逐 token 的假设。本文比较 LLM 与人类如何思考和记忆,考察 NCM 实际做了什么,并论证这一想法接下来可能走向何处。

LLM 如何工作:思考与措辞是同一个循环

自回归 LLM 只做一件事:给定此前的 token,产生下一个 token 上的分布,采样一个,追加,重复。每一步都运行整个网络。

在这个循环中,不存在一个让想法脱离其措辞而存在的地方。无论发生什么“推理”,都必须在单次传播内完成,然后作为一个 token 提交。一旦某个 token 被发出,模型就无法修改它,只能在其基础上继续构建。

思维链是一种变通办法。要想思考得更久,模型必须把思考写成句子,因为句子是它唯一可用的草稿空间。这是一个很说明问题的设计:模型的推理媒介就是它的输出语言。

代价体现在参数上。同一套权重必须存储语法、风格、世界知识和推理模式,全都纠缠在一起,因为架构中没有任何东西要求它们彼此分离。

LLM 记忆如何工作:三层,无巩固

LLM 有三个保存信息的地方,而它们都不像人类记忆那样运作。

  • 权重(参数化记忆)。训练期间压缩进参数的事实与技能。它模糊、难以编辑,并在部署时被冻结。
  • 上下文窗口(工作记忆)。模型此刻能关注到的一切。它很大,但是扁平的:每个 token 都同等“在场”,而且会话结束时它就被清空。
  • 外部存储(RAG、向量数据库、agent 记忆文件)。把检索到的文本粘贴回上下文。有用,但是外挂的。这些记忆不是模型构建的,而是周边系统构建的。

虚线箭头才是关键。模型在会话期间读到和做过的内容,永远不会变成权重中持久的抽象。没有任何一步把经验转化为概念。

人类如何思考与记忆:概念在先,词语在后

关于说话的标准心理语言学解释——Willem Levelt 的模型——有三个阶段。概念化器决定要表达什么意思。形式化器挑选词语并构建语法。发音器产生声音或文本。语法是较晚的阶段,且大多是自动的。你不会去规划一句话的主谓一致,你规划的是要点。

一个公允的提醒:人确实有内部言语,语言也塑造我们分类和记忆的方式。这里的论断更窄。概念是第一位的,措辞是一个单独的步骤,可以独立地失败。舌尖现象——你清楚地知道自己想说什么,却提取不出那个词——就是经典的证据。

人类记忆的结构也与 LLM 不同:

  • 工作记忆只容纳少数几个项目,而不是一整份记录。
  • 情景记忆存储具体事件。语义记忆存储一般知识。程序性记忆存储技能。
  • 巩固——借助睡眠——逐渐把情景转化为抽象。你忘记了一百次会议的细节,却保留了一个关于你上司如何思考的概念。
  • 回忆是重建。你从概念加线索重建记忆,这就是它灵活的原因,也是它可能出错的原因。

并排对比

差异归结为两点:抽象发生在哪里,以及训练之后是否还会学到任何东西。

LLM人类
思维单元Token概念
思考与措辞在一次前向传播中融合分离的阶段
推理的草稿空间自身的输出文本不依赖语言
训练后的学习无,或外挂式添加持续、可巩固
回忆模式补全从概念重建
记忆结构权重 + 扁平上下文工作记忆、情景记忆、语义记忆、程序性记忆

进入 NCM:先产生要旨

Next-Concept Modeling(Kumbong 等,Stanford 与 Together AI,2026 年 10 月)用由粗到细的层级结构取代从左到右的生成方式。它有两个阶段。

  • 一个 tokenizer(带嵌套 dropout 的多尺度残差 VQ-VAE)将文本转换为 K 个层级的离散码。第 1 层是短序列;之后的每一层都更长;最后一层是完整的 token 长度。嵌套 dropout 迫使早期层级携带真实信息。
  • 然后由 transformer 每一步生成一个层级。一个层级内的所有码并行预测,条件是基于更早层级构建的重建结果。tokenizer 的解码器将完成的重建结果转回文本。

这里的“概念”指什么。论文给出了狭窄的定义:粗层级所携带的信息。它是整段文本的一种习得的压缩速写,而不是独立于其措辞而存在的人类观念。这个名字有暗示性;其机制则更为朴素。

结果说明了什么。以下所有数字均来自论文,生成器规模约为 100M 参数。

  • 在 LM1B 上,NCM 在生成困惑度上优于最强的扩散语言模型基线(DUO),为 93.05 对 97.30,使用 12 次函数评估对 128 步,约快 21 倍。
  • 在 OpenWebText 上,它使用 32 次评估对 1,024 次,约快 10 倍,困惑度略差(83.12 对 77.69)。
  • 它所需的训练 token 位置比基线少约 4 到 5 倍(LM1B 上为 13.4B 对 66B)。

数独的结果才是最有意思的。一个 25M 参数的 NCM 能解出 86.1% 的困难谜题,而最佳基线为 81.3%。因为每个层级都能看到整个棋盘,模型可以全局规划并修正早先的粗粒度决策。关于该论文的媒体报道称,同等规模的自回归模型只能解出约 1% 的困难棋盘(TechNews)。这是要旨优先生成的计算优势,而不只是类比。

注意事项。速度基线是扩散模型和流模型,而不是经过优化的自回归服务。主要模型约为 100M 参数,而缩放研究(LM1B 上最高到 725M)被描述为初步的。

这在更广泛趋势中的位置。Meta 的 Large Concept Model 在与语言和模态无关的空间中预测句子级嵌入,但其概念是人类定义的句子。DLCM 学习在哪里集中推理,并将 token 级容量与概念级推理容量分离。NCM 的不同之处在于它的层级是从数据中习得的。

这可能走向何方:将推理者与写作者分离

本节是假设,不是结果。NCM 已发表的收益是速度和训练效率。论文没有对参数量或人类认知作出任何主张,并且所有层级都由一个 transformer 生成。

假设是这样的:如果粗层级携带意义,细层级携带措辞,那么这两项工作需要不同数量的容量。大部分参数可以放在概念级推理者中。措辞阶段可以是一个小型解码器,并且可以按语言或输出格式进行替换。

这一方向有间接支持。Meta 的 Large Concept Model 表明,概念级核心可以置于可替换的编码器和解码器之间。DLCM 主张,计算应当集中在信息密集之处,而不是按 token 均匀分配。

要让这一假设成立,必须有三件事为真,而每一件都可以检验:

  • 粗层级在很大程度上与语言无关,因此一个推理器可以服务多个解码器。
  • 一个比推理器小得多的细层级解码器不会损失质量。
  • 在同等计算量下,concept-reasoner 设计可以匹配或超越同等总规模的自回归模型。

NCM 目前尚未展示上述任何一点。这些正是这一方向所邀请的实验。

缺失的一环:存在于概念空间中的记忆

概念级生成本身并不能解决记忆问题。NCM 是一个文本生成器;除上下文之外,它没有记忆系统。但这两个想法可以结合,而这正是我觉得最有前景的部分。

如今的 agent 记忆以文本为键:过去对话的片段,被嵌入并按相似度检索。这是错误的索引。人类不会回忆起他们听到的确切句子;他们回忆的是概念,然后重建措辞。

构建在概念级模型之上、类似人类的记忆系统需要三样东西:

  • 概念索引存储。记忆以概念代码而非原始文本保存,因此检索可以跨语言和措辞匹配含义。
  • 巩固。一个后台过程,将许多片段合并为更少、更抽象的条目,正如睡眠对人所做的那样。
  • 情景到语义的提炼。具体事件逐渐变成一般知识,细节允许褪去。

这些在 NCM 中都不存在。一旦生成和推理不再是同一个操作,这就是自然的下一步问题。

开放问题与局限

  • 粗层级是否会丢失细层级无法恢复的细节?论文的分词器几乎可以精确重建文本(OpenWebText 上 99.99%,WMT14 翻译上 98.79%),但这是分词器的属性,而不是大规模下生成质量的属性。
  • 学习到的「概念」是类似人类的,还是只是一个压缩层级?论文中没有任何内容这么说。在有人探查粗代码编码了什么之前,请把这个名称当作隐喻。
  • 固定深度。层级具有固定数量的层级和固定的每层长度,因此即使是很短的续写也要走完整个层级。作者建议采用依赖输入的调度。
  • 分离训练。分词器与生成器分开训练。端到端训练被列为未来工作。
  • 规模。主要结果大约在 100M 参数。这些增益在数十亿参数下是否成立尚不清楚,论文还指出了粗层级交接处偶发的伪影。
  • 评估。我们缺乏一种清晰的方法来将概念级推理与流畅性分开衡量,而这正是本文所讨论的区别。

结语

回到你开口之前的那一刻,那时你知道自己想表达什么,而词语还没有出现。那一刻对你来说很廉价,对逐 token 模型来说却不可能。NCM 并没有重现它,但它确实表明,先生成要点是可行的、快速的,并且至少在一个任务(数独)中比从左到右更好。

扩展之后的下一步可能不是更大的模型。而可能是先决定要表达什么、再措辞的模型。

来源:Next-Concept Modeling(arXiv 2610.14162)· Hazy Research NCM repo · Large Concept Models(Meta,arXiv 2412.08821)· DLCM(arXiv 2512.24617)· TechNews 对 NCM 的报道

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗