Newshot

基于能量的推理器:推理效率提升 385 倍

Translation(model translation, not the source's own text)

摘要

循环是一种强大的归纳偏置,可用于推理。通过反复迭代一个循环块,循环模型能够扩展其有效深度,并在隐空间中实现多步推理。然而,现有的循环模型本身并不受显式的进度度量所引导,这使得难以确定何时停止循环以及如何改进当前状态。为实现这一点,我们引入了基于能量的推理器(Energy-Based Reasoners, EBRs),它学习一个关于隐推理状态的能量函数,并将循环更新表述为对该能量的梯度下降。能量对隐状态进行评分,而其梯度引导精炼并提供停止信号。为有效训练 EBRs,我们进一步引入了基于探索的训练,以发现额外的模态,并在更广泛的状态集合上更好地塑造能量景观。在四个算法推理基准上,EBRs 匹配或超越了先前的循环推理模型,在 Sudoku-Extreme 上达到 99.9% 的准确率,同时使用的推理计算量比次优模型少 345×,并保持可比的训练计算量。在所有多解基准上,EBRs 在保持接近 100% 单样本准确率的同时,实现了对 Distinct 有效解的最先进覆盖。这些结果表明,基于能量的模型是实现强推理性能的一种有前景的方法。

为什么用能量?

现有的循环推理器在更新其隐状态时没有任何显式的评估。EBR 学习一个能量函数,用于引导精炼、停止和选择。

评分。能量评估推理状态 z 与初始盘面 x 之间的兼容性。越低表示兼容性越好。

精炼。梯度将评分转化为改进方向。

停止。一旦梯度变小,状态便趋于平稳,因此梯度可作为停止准则。

选择。在多个候选解中,我们选择能量最低的那个。

下降过程中的能量、梯度范数和残差,已解出 vs 错误
下降过程中的能量、梯度范数和残差,已解出 vs 错误

正确解收敛于低能量的平稳状态。在 Sudoku-Extreme 上下降过程中的能量、梯度范数和步长。正确的轨迹以较小的梯度收敛于低能量,而错误的轨迹则持续移动。

测试时扩展

运行更多下降步骤会进一步精炼每个答案,而运行更多轨迹则为能量提供更多候选,以从中选择能量最低者。

Sudoku-Extreme 准确率 vs 迭代次数(单样本,左),以及 vs 样本数量(右)
Sudoku-Extreme 准确率 vs 迭代次数(单样本,左),以及 vs 样本数量(右)

EBRs 以少 7× 的迭代次数(左)和少 43× 的样本数量(右)达到 EqR 的最佳准确率。

GRAM 和 TRM 来自 GRAM 的论文;EqR 来自其发布的检查点。三个随机种子的均值 ± 标准差。

自适应停止

每条轨迹在其能量梯度低于阈值时停止,因此简单的谜题几步即可完成,而困难的谜题则持续进行。

Sudoku-Extreme 精确准确率 vs 每个谜题的推理 FLOPs
Sudoku-Extreme 精确准确率 vs 每个谜题的推理 FLOPs
方法参数量Sudoku-Extreme ↑Maze-Hard ↑
单样本 (%)
TRM5–7M87.485.3
EqR5–7M93.0–
FPRM7M94.287.0
GRAM10M86.6–
Looped flows5–7M97.986.7
EBR Ours1.8M99.487.4
多样本 (%),括号内为样本数量 N
PTRM5–7M98.8 (100)86.7 (100)
EqR5–7M99.8 (128)–
GRAM10M96.1 (20)–
Looped flows5–7M99.3 (5)86.9 (5)
EBR Ours1.8M99.9 (5)88.3 (5)

文章标题:基于能量的推理器:推理效率提升 385 倍

正文: EBR 在推理模型中拥有最佳的单样本准确率。仅需 5 次传递,它们就达到 99.9% 和 88.3%,领先于最多进行 128 次采样的方法。一旦某条轨迹的能量梯度降至阈值以下就停止该轨迹,可在保持 99.9% 准确率的同时,将 FLOPs 减少到固定深度 EBR 的 1/10.9,这让我们得以用少 345 倍的 FLOPs 超越 EqR。

多解

EBR 的作用类似于随机梯度下降,能够捕获许多不同的解。覆盖率衡量的是 20 个样本找到的每个输入各不相同的有效解所占的比例。

方法N 皇后图着色
8×810×108 顶点10 顶点
单样本Pass@1 (%) ↑冲突数 ↓
TRM66.817.5109.3170.7
GRAM99.589.78.331.3
EBR Ours10099.500
20 个样本Cov@20 (%) ↑Cov@20 (%) ↑
TRM22.62.022.36.8
GRAM89.757.585.851.3
EBR Ours98.192.088.654.5

Pass@1 (%) 与冲突数(测试图上各边求和)使用单一样本。Cov@20 是 20 个样本找到的各不相同有效解所占的比例(%)。基线数据来自 GRAM 的论文。

N 皇后 10×10

图着色,10 顶点

BibTeX


        @misc{chen2026energybasedreasoners,
  title         = {Energy-Based Reasoners: Your Recurrent Reasoner Should Be an Energy-Based Model},
  author        = {Chen, William Xingxu and Gladstone, Alexi and Li, Zeyu Michael and Ji, Heng and Du, Yilun},
  year          = {2026},
  eprint        = {2611.08977},
  archivePrefix = {arXiv},
  primaryClass  = {cs.LG},
  url           = {https://arxiv.org/abs/2611.08977}
}
      

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗