摘要
循环是一种强大的归纳偏置,可用于推理。通过反复迭代一个循环块,循环模型能够扩展其有效深度,并在隐空间中实现多步推理。然而,现有的循环模型本身并不受显式的进度度量所引导,这使得难以确定何时停止循环以及如何改进当前状态。为实现这一点,我们引入了基于能量的推理器(Energy-Based Reasoners, EBRs),它学习一个关于隐推理状态的能量函数,并将循环更新表述为对该能量的梯度下降。能量对隐状态进行评分,而其梯度引导精炼并提供停止信号。为有效训练 EBRs,我们进一步引入了基于探索的训练,以发现额外的模态,并在更广泛的状态集合上更好地塑造能量景观。在四个算法推理基准上,EBRs 匹配或超越了先前的循环推理模型,在 Sudoku-Extreme 上达到 99.9% 的准确率,同时使用的推理计算量比次优模型少 345×,并保持可比的训练计算量。在所有多解基准上,EBRs 在保持接近 100% 单样本准确率的同时,实现了对 Distinct 有效解的最先进覆盖。这些结果表明,基于能量的模型是实现强推理性能的一种有前景的方法。
为什么用能量?
现有的循环推理器在更新其隐状态时没有任何显式的评估。EBR 学习一个能量函数,用于引导精炼、停止和选择。
评分。能量评估推理状态 z 与初始盘面 x 之间的兼容性。越低表示兼容性越好。
精炼。梯度将评分转化为改进方向。
停止。一旦梯度变小,状态便趋于平稳,因此梯度可作为停止准则。
选择。在多个候选解中,我们选择能量最低的那个。

正确解收敛于低能量的平稳状态。在 Sudoku-Extreme 上下降过程中的能量、梯度范数和步长。正确的轨迹以较小的梯度收敛于低能量,而错误的轨迹则持续移动。
测试时扩展
运行更多下降步骤会进一步精炼每个答案,而运行更多轨迹则为能量提供更多候选,以从中选择能量最低者。

EBRs 以少 7× 的迭代次数(左)和少 43× 的样本数量(右)达到 EqR 的最佳准确率。
GRAM 和 TRM 来自 GRAM 的论文;EqR 来自其发布的检查点。三个随机种子的均值 ± 标准差。
自适应停止
每条轨迹在其能量梯度低于阈值时停止,因此简单的谜题几步即可完成,而困难的谜题则持续进行。

| 方法 | 参数量 | Sudoku-Extreme ↑ | Maze-Hard ↑ |
|---|---|---|---|
| 单样本 (%) | |||
| TRM | 5–7M | 87.4 | 85.3 |
| EqR | 5–7M | 93.0 | – |
| FPRM | 7M | 94.2 | 87.0 |
| GRAM | 10M | 86.6 | – |
| Looped flows | 5–7M | 97.9 | 86.7 |
| EBR Ours | 1.8M | 99.4 | 87.4 |
| 多样本 (%),括号内为样本数量 N | |||
| PTRM | 5–7M | 98.8 (100) | 86.7 (100) |
| EqR | 5–7M | 99.8 (128) | – |
| GRAM | 10M | 96.1 (20) | – |
| Looped flows | 5–7M | 99.3 (5) | 86.9 (5) |
| EBR Ours | 1.8M | 99.9 (5) | 88.3 (5) |
文章标题:基于能量的推理器:推理效率提升 385 倍
正文: EBR 在推理模型中拥有最佳的单样本准确率。仅需 5 次传递,它们就达到 99.9% 和 88.3%,领先于最多进行 128 次采样的方法。一旦某条轨迹的能量梯度降至阈值以下就停止该轨迹,可在保持 99.9% 准确率的同时,将 FLOPs 减少到固定深度 EBR 的 1/10.9,这让我们得以用少 345 倍的 FLOPs 超越 EqR。
多解
EBR 的作用类似于随机梯度下降,能够捕获许多不同的解。覆盖率衡量的是 20 个样本找到的每个输入各不相同的有效解所占的比例。
| 方法 | N 皇后 | 图着色 | ||
|---|---|---|---|---|
| 8×8 | 10×10 | 8 顶点 | 10 顶点 | |
| 单样本 | Pass@1 (%) ↑ | 冲突数 ↓ | ||
| TRM | 66.8 | 17.5 | 109.3 | 170.7 |
| GRAM | 99.5 | 89.7 | 8.3 | 31.3 |
| EBR Ours | 100 | 99.5 | 0 | 0 |
| 20 个样本 | Cov@20 (%) ↑ | Cov@20 (%) ↑ | ||
| TRM | 22.6 | 2.0 | 22.3 | 6.8 |
| GRAM | 89.7 | 57.5 | 85.8 | 51.3 |
| EBR Ours | 98.1 | 92.0 | 88.6 | 54.5 |
Pass@1 (%) 与冲突数(测试图上各边求和)使用单一样本。Cov@20 是 20 个样本找到的各不相同有效解所占的比例(%)。基线数据来自 GRAM 的论文。
N 皇后 10×10
图着色,10 顶点
BibTeX
@misc{chen2026energybasedreasoners,
title = {Energy-Based Reasoners: Your Recurrent Reasoner Should Be an Energy-Based Model},
author = {Chen, William Xingxu and Gladstone, Alexi and Li, Zeyu Michael and Ji, Heng and Du, Yilun},
year = {2026},
eprint = {2611.08977},
archivePrefix = {arXiv},
primaryClass = {cs.LG},
url = {https://arxiv.org/abs/2611.08977}
}