Newshot

智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”

Summary

物理AI基模的核心,是从真实经验中学习可迁移的物理规律,形成理解、预测和作用于物理世界的能力。真实世界的数据里藏着丰富的物理信息:互联网视频记录运动与环境演化,Egocentric呈现手物交互,真机轨迹记录动作与状态响应,力触反馈补充接触力、滑移与形变,不同数据共同提供了互补的物理经验。如何衡量、提炼和耦合这些数据中的物理特性,是构建物理AI基模亟待解决的基础问题。 围绕这一问题, 智源研究院联合逆矩阵、北京大学、清华大学、北京航空航天大学推出悟界·PhysCapBench ——首个覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域,统一评测视频Caption物理信息的基准。 悟界·PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning跨领域视频描述物理信息评测基准 它从视频描述入手,统一度量描述对物理信息的覆盖与保真,为描述策略选择、标注质量评估和训练数据优化提供一把跨领域的“物理数据量尺”。 图1:悟界·PhysCapBench整体框架——跨领域数据、物理标注、描述评测与下游验证 世界模型缺的物理信息,可能就藏在一段Caption里。 在世界模型预训练数据的建设中,我们持续观察到:面对第三人称场景、第一人称操作与手持夹爪示范等不同来源的视频,现有Caption往往能概括场景与动作,却未能充分保留运动、接触、状态变化及其时序关系;这一缺口不只存在于原始数据的简短说明里,也可能出现在更长、更流畅的自动生成描述中。语言表达的完整,并不等于物理信息的完整。 软胶玩具是一个典型例子(见图7):它被压扁后,会随压力解除逐渐恢复形状,受压、形变、卸载与回弹,共同构成这一过程的关键物理信息。在我们的生成对比中,使用物理描述时,结果更好地保留了玩具的立体形态与卸载后的恢复趋势;使用原始描述时,玩具在压力解除后仍呈现明显的扁平状态。 Caption对物理过程的表达,直接关系到模型获得怎样的条件与监督。 悟界·PhysCapBench把预训练数据实践中的观察与思考,沉淀为跨领域参考描述、统一评价维度与下游验证流程:既评价Caption保留了哪些物理信息,也检验这些信息能否服务于视频生成与机器人策略学习,为多源真实数据转化为有效训练监督提供依据。 01 覆盖三类互补数据,建立跨领域…

Original text(via 雷锋网)

物理AI基模的核心,是从真实经验中学习可迁移的物理规律,形成理解、预测和作用于物理世界的能力。真实世界的数据里藏着丰富的物理信息:互联网视频记录运动与环境演化,Egocentric呈现手物交互,真机轨迹记录动作与状态响应,力触反馈补充接触力、滑移与形变,不同数据共同提供了互补的物理经验。如何衡量、提炼和耦合这些数据中的物理特性,是构建物理AI基模亟待解决的基础问题。

围绕这一问题,智源研究院联合逆矩阵、北京大学、清华大学、北京航空航天大学推出悟界·PhysCapBench——首个覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域,统一评测视频Caption物理信息的基准。

智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”
智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”

悟界·PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning跨领域视频描述物理信息评测基准

它从视频描述入手,统一度量描述对物理信息的覆盖与保真,为描述策略选择、标注质量评估和训练数据优化提供一把跨领域的“物理数据量尺”。

智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”
智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”

图1:悟界·PhysCapBench整体框架——跨领域数据、物理标注、描述评测与下游验证

世界模型缺的物理信息,可能就藏在一段Caption里。在世界模型预训练数据的建设中,我们持续观察到:面对第三人称场景、第一人称操作与手持夹爪示范等不同来源的视频,现有Caption往往能概括场景与动作,却未能充分保留运动、接触、状态变化及其时序关系;这一缺口不只存在于原始数据的简短说明里,也可能出现在更长、更流畅的自动生成描述中。语言表达的完整,并不等于物理信息的完整。

软胶玩具是一个典型例子(见图7):它被压扁后,会随压力解除逐渐恢复形状,受压、形变、卸载与回弹,共同构成这一过程的关键物理信息。在我们的生成对比中,使用物理描述时,结果更好地保留了玩具的立体形态与卸载后的恢复趋势;使用原始描述时,玩具在压力解除后仍呈现明显的扁平状态。Caption对物理过程的表达,直接关系到模型获得怎样的条件与监督。

悟界·PhysCapBench把预训练数据实践中的观察与思考,沉淀为跨领域参考描述、统一评价维度与下游验证流程:既评价Caption保留了哪些物理信息,也检验这些信息能否服务于视频生成与机器人策略学习,为多源真实数据转化为有效训练监督提供依据。

01 覆盖三类互补数据,建立跨领域评价框架

第三人称场景、第一人称操作与手持夹爪示范,从不同视角呈现物理过程,为世界模型提供互补的学习经验:第三人称场景重点覆盖物体运动、形变、相互作用与环境变化;第一人称操作关注人与物体的接触、操作过程及状态转换;手持夹爪示范则记录夹爪与物体的交互、操作阶段及执行结果。

我们把三类数据纳入同一评价框架,以物理信息的准确性与完整性作为共同的质量目标。基准共包含1,500段视频序列,每个领域各500段;对于多视角示范,同一次交互过程作为一段视频序列组织。

智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”
智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”

图2:第三人称场景、第一人称操作与手持夹爪示范中的物理过程

智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”
智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”

02 七个评价维度,定位Caption的物理信息缺口

描述策略对任务目标、动作步骤和状态变化的覆盖各有侧重。悟界·PhysCapBench 从七个维度评价Caption,把整体质量落到具体的信息类型,为描述策略选择与标注优化提供依据。七个维度各自的检查重点如下。

智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”
智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”

图4:悟界·PhysCapBench的七个物理信息评价维度

七个维度合起来要回答的,其实是同一个问题:这段描述有没有把物理过程说清楚、说准。以下为第一人称操作领域的描述策略榜单,综合得分与七个维度分数一栏排开,可以直接看出不同策略的信息短板。

智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”
智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”

图5:第一人称操作领域描述策略榜单,综合得分与七个维度 Physis为内部测试

03 以视频证据为基础,构建可核验的物理描述

物理过程通常跨越多个时间阶段:接触发生前的运动、接触后的形变,以及动作结束后的状态,往往需要结合连续的视频证据才能准确描述。因此,高质量的物理Caption需要同时满足信息覆盖与证据一致性——既保留关键变化,也确保描述能够在视频中得到支持。

悟界·PhysCapBench围绕这一要求组织参考描述构建流程:从全局观察与事件定位出发,逐步梳理参与对象、动作过程、接触关系和状态变化,再对描述内容进行核验,七名专业标注人员参与标注与质量检查。对于机制与因果信息,描述以可观察证据为基础;对于复杂操作,则重点检查阶段划分、交互关系与结果状态是否保持一致。

智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”
智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”

图6:基于视频证据的物理标注流程

通过这一流程,参考描述既服务于统一评测,也为后续描述生成和数据标注提供可复用的质量依据。

04 物理信息写得完整,下游模型表现能好多少?

描述质量的评价,需要进一步与下游效用建立联系:悟界·PhysCapBench从视频生成与操作策略两个方向,检验更完整的物理信息能否改善模型表现。视频生成方面,更完整的物理描述能提供更有效的生成条件。开头提到的软胶玩具案例,直观展示了不同描述条件下的生成差异。

智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”
智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”

图7:软胶玩具受压与卸载后的生成对比。左为真实视频,中为使用物理描述的生成结果,右为使用原始描述的生成结果

进一步,在固定生成模型、首帧与生成时长的条件下,分别使用原始数据描述和物理描述作为条件,比较生成视频与真实视频之间的感知差异。

智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”
智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”

图8:原始描述与物理描述条件下的视频重建指标对比。LPIPS与PVCS衡量感知差异,数值越低越好;连线连接同一模型在两种描述条件下的均值,绿色标注为相对下降幅度

物理描述在两个领域、两种生成模型上均带来改善。其中,第一人称操作领域的 LPIPS相对下降最高达到30.88%,PVCS相对下降最高达到28.09%。这些结果表明,描述中保留的动作、交互与状态信息能够形成有效的生成条件,帮助模型生成更接近真实视频的演化过程。

机器人策略方面,通过Training Instruction Upsampler丰富训练语言监督。它在原始任务指令的基础上,补充视频中可观察的动作过程、接触关系与状态变化,为策略学习提供更完整的语言监督;增强指令用于训练阶段,推理时仍使用原始简短指令。

下面的物理交互示例展示了操作过程中需要关注的状态变化:失败轨迹在操作与放置过程中使碗发生倾斜、翻倒,未形成稳定堆叠;成功轨迹则完成了三只碗的堆叠。

智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”
智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”

图9:RoboDojo 接触与放置示例,左侧失败、右侧成功

物体是否随夹爪稳定运动、接触后是否发生倾斜、释放后是否形成稳定支撑,都是操作过程中的关键状态信息,将这些信息纳入训练描述,有助于为策略学习提供比任务目标更充分的过程监督。

为评估训练指令增强的实际效果,我们在一个RoboTwin 2.0子任务中开展受控实验:使用同样的50条示范,对其中一半训练样本采用增强指令,π0.5 在40个共享测试初始场景中的成功次数从15次提升至18次,成功率由37.5% 提升至45.0%,提高7.5个百分点。在RoboTwin与RoboDojo的多任务评估中,四种策略模型的所选任务平均成功率均有所提升。

从生成条件到训练指令,两类实验展示了物理描述的下游价值,也为数据优化提供了依据:Caption的质量应与模型预测和执行所需的信息相联系。

世界模型的数据建设,需要关注视频中有哪些物理经验,以及这些经验是否被完整、准确地转化为训练监督。悟界·PhysCapBench将预训练中的数据实践,沉淀为一把跨领域的“物理数据量尺”:通过三大领域的参考数据、七个物理信息评价维度,以及视频生成与操作策略的下游验证,它为描述策略选择、标注质量评估与训练数据优化提供统一依据。

从评测Caption的物理信息,到验证其下游价值,悟界·PhysCapBench为世界模型基座建设提供可复用的数据与评测基础设施。

https://hfwang2001.github.io/physcapbench-site/

https://github.com/hfwang2001/PhysCapBench

Hugging Face

https://huggingface.co/datasets/hfwang01/PhysCapBench

http://arxiv.org/abs/2611.16424

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by 雷锋网
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗