Newshot 经过 600 次实验，以下是我对 JEPA 世界模型的发现
无需任何额外训练即可解决长
精确物理带来了 20 分提升。把任务切成 25 步一段，而每段的长度正是 LeWM 已经几乎能完美处理的长度，带来了近 60 分提升。LeWM 有用的规划视界约为 25 步，所以很明显，要更进一步，就是把这些长度的段串联起来。
LeWM 的规划视界约为 25 步
这就是分层规划：高层挑选子目标，低层到达这些子目标。它被广泛认为是世界模型的主要开放问题之一，而在 Push-T 上，它的价值是换入精确物理的三倍。
额外的搜索不能替代它。把规划器运行四次并保留代价最低的计划，花费了四倍计算量，却只增加了不到 1 分，因为这四次运行几乎总是一起成功或一起失败。
这个实验中的子目标来自专家演示，而部署后的机器人不会有这种演示。第二种方法消除了这种依赖。
2. 一张在每次跳转上都带代价的潜在记忆图
LeWM 在该任务的专家演示上训练，其编码器可以嵌入这些演示的每一帧，得到约 460,000 个嵌入状态，我把它们连接成一张图。每个状态链接到它自己演示中紧随其后的状态，也链接到其他演示中在嵌入空间里接近的状态。为了求解长视界任务，规划器在这张图中搜索一条从当前状态到目标的路径，并把这条路径上的状态用作子目标。
只有当嵌入空间中的距离具有物理意义时，这才能成立，而它确实有。取一个机器人能在 25 步内到达的子目标和一个它无法到达的子目标，LeWM 的嵌入距离在 87% 的情况下把可到达的那个排得更近。因此，嵌入空间同时也可充当一张机器人能到达什么的地图。
第一个版本有一个缺陷。在两个不同演示中的邻近状态之间跳转，代价和真实的一步相同，所以搜索把跳转串成方块永远无法跟随的路径（1,015 个计划中有 318 个尝试使用六次或更多跳转）。修复方法是给图中演示之间的每次跳转都加上代价。仅使用 LeWM 自己对过去演示的嵌入，在同样的 250 个长视界任务（目标在 75 步之外）上，成功率从 62% 提升到 85%，这与使用专家子目标的规划器得到的分数相同。这已经好得不能再好了，对吧？
通过演示记忆进行规划
标准 Push-T 测试比看起来更容易
但需要注意的是，标准测试取一个演示，让机器人从该演示的中途开始，并把目标设在同一条演示再往后固定步数处。这是一个合理的设计，但在 Push-T 中，每个演示结束时方块都在同一个位置。因此，每个测试目标都位于演示已经走过的路径上，通向它们全都结束的那个位置。对于标准测试 84% 的目标，记忆图中已经存有来自另一个演示的几乎相同的状态。
通常的样本也很小。在官方的 50 个回合中，当目标在 50 步之外时，LeWM 成功率为 68%。在按同样方式抽取的 250 个新回合中，它只成功了 44%。只改变规划器的随机种子，250 个回合中就有 38 个在成功与失败之间翻转。
于是，我决定构建一个更难的测试：每个任务从一个演示中取起点，从另一个演示中取目标，因此机器人必须在没有任何单个演示连接起来的状态之间移动。只有当方块在最后 10 步都保持在目标上时，才算成功。在这些规则下，记忆图规划器在标准任务上的成功率为 75%，在新任务上为 45%。我找到的第三种和第四种方法正是针对这一差距起作用。
3. 用变换后的记忆填补记忆中的空缺
记忆图的好坏取决于它的覆盖范围。当我删除目标附近所有已存储状态时，成功率从 93% 下降到 32%。
在进行了 600 次实验后，我对 JEPA 世界模型的发现
Push-T 在这方面有一个有用的对称性。推动方块的物理规律不会因为你平移、旋转或镜像整张桌子而改变。因此，当图中目标附近没有状态时，它可以从其他地方取演示片段，对它们进行变换以填补空缺，并通过这些片段进行规划。借助这些变换后的片段，成功率回升到了 85%。它们还能让一个小型记忆发挥远超其规模的作用（仅用 1% 的演示加上变换副本构建的图，表现与用 10% 构建的图大致相当）。
用变换后的演示填补记忆中的空缺
方块到达了目标，250 个长时程任务（目标在 75 步之外）
在更难的测试中，变换后的片段将成功率从 45% 提升到 56%，并且在演示最稀疏的地方帮助最大。当目标位于演示所流动的方向上时，记忆图规划器已经有 69% 的成功率。当目标位于相反方向时，普通记忆的成功率为 27%，变换后记忆为 46%。
更难的测试，按目标所在方向划分
每行约 83 个任务
成功率
4. 代价是“错误”的
我还构建了一个交互式演示，可以任意放置方块并选择任意目标。目标必须是一张图像，而场景图像必须在某处显示推杆，所以我把推杆放在目标正后方。在一次运行中，机器人将方块推到了距离目标 14 像素以内，足够近，可以算作已解决。然后它把方块推离目标，并持续将推杆移向目标图像中推杆所在的位置。
更难的测试中的目标是专家演示的帧，因此每一帧也显示了专家当时的推杆恰好在哪里。一个将预测与整个目标图像进行比较的规划器，也会试图把推杆放到那里。
为了衡量这有多重要，我把模型从问题中移除。我在更难的测试的同样 50 个任务上运行了两次精确物理规划器，唯一的区别是代价函数是否同时包含推杆的位置和方块的位置。
方块保持在目标上，同样的 50 个任务
精确物理规划器
当排除推杆时，有 30 个任务从失败变为成功，而没有任务朝相反方向变化。这样的分化随机发生的概率约为十亿分之二。这里的物理来自实际模拟器，而非预测，所以 4 倍的成功率提升来自于目标的创建方式。
对推杆进行评分的规划器完全按照要求执行。在翻转的 30 个任务中，它将推杆移到了目标图像所放置位置的半个像素以内，但途中丢失了方块。将 T 和推杆同时放在精确的目标位置是一个更难解决的问题。
包含推杆与不包含推杆
但 LeWM 不能简单地被告知忽略推杆。它通过两个嵌入之间的距离来给规划打分，而它对目标图像的嵌入将方块和推杆放在一起，没有任何部分被标记为“推杆”。因此，作为测试，我衡量了规划器改为在推杆上搜索能取得多大进展。它将每个预测与目标图像的 16 个版本进行比较，所有版本中方块都在同一位置，推杆被移动到从存储的演示中取得的位置，并保留最接近的匹配。这在没有重新训练的情况下，将 LeWM 在更难的测试上的成功率翻倍，从 11% 提升到 23%。
一个目标的十六个版本
这适用于任何机器人，因为目标应该只是一组终止状态，而不是一张图像的副本。“把杯子放到架子上”无论机器人的手臂最终停在哪里都算解决，但目标图像只选定了一个手臂位置并让规划器去匹配它。一个好的目标接受所有能解决任务的终止状态，并且仍然包含任务对机器人的要求，比如最终静止下来。
好消息是，大型演示集已经包含了许多同一物体在同一位置的真实帧，每一帧中机器人处于不同的位置。将规划与这些目标中最接近的一个进行评分，允许为更大的有效终止状态集合进行规划。
接下来是什么
这四项发现都不会改变模型的权重。它们适用于已发表的 LeWM，也应当能以零额外训练成本迁移到采用相同规划方式的更大 JEPA 世界模型上。
目前剩下的最大开放问题，是泛化到没有完美示范的任务。在更难的 Push-T 测试中，最佳规划器有 56% 的时间能把方块保持在目标位置，而其余失败大多来自与数据方向相悖的目标。要弥合这一差距，需要一个更高层，能够提出超出示范范围的自有子目标，并且要比当今的学习式层级结构（如 H-JEPA [4]）做得更好——后者目前在 Push-T 上只能与扁平的 LeWM 持平或略优。
LeWM 之上的分层子目标规划器
一开始我以为 LeWM 的预测会是瓶颈，但一个小到几小时就能训练完的 JEPA，其预测能力已经和模拟器本身差不多，而且只要改变规划方式，就能获得若干收益。它目前还做不到的是，在没有示范出现过的地方自行选择子目标。这正是我当前在做的工作，如果你想看更多，我会先在 X 上发布，@haddyalchaer。
参考文献
- [1] Y. LeCun, A Path Towards Autonomous Machine Intelligence. OpenReview, 2022.
- [2] L. Maes, Q. Le Lidec, D. Scieur, Y. LeCun, and R. Balestriero, LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels. arXiv:2603.19312, 2026.
- [3] C. Chi et al., Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. RSS, 2023.
- [4] W. Zhang, B. Terver, M. Rabbat, Y. LeCun, and R. Balestriero, H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning. arXiv:2610.06805, 2026.