Summary
IT之家 11 月 19 日消息,11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。据介绍,该模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。 官方称,LoFT 原生面向连续视频建模,采用 双循环 Transformer 架构 ,将跨帧视觉信息聚合与相机状态迭代优化相结合,用于挖掘视频中的时序关联与多视角几何信息。 IT之家从官方公布信息获悉,第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧的连续性与跨视角的几何关联;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算。 模型结合双循环特征预测逐帧深度及其置信度,恢复场景的可见三维结构。 ▲ 原生双循环 Transformer:LB1 通用几何特征提取,LB2 实现 Coarse2Fine 几何与姿态估计 官方表示,为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台, 约 297 万条有效训练序列、9.62 亿帧图像记录 ,覆盖仿真与真实、动态与静态等多样化场景,并通过统一的数据清洗、质量筛选和采样策略提供数据基础。 ▲ 高频动态场景下的精准空间感知 ▲ 实现文字级精细几何重建 ▲ 驾驶场景中对动态车辆的鲁棒视觉重建 ▲ 复杂生活场景高精度重建 评测方面,研究团队在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中将 LoFT 与 VGGT-Ω、DA3-Giant 等代表性模型比较。其中 SpatialBench 覆盖 12 个数据集、98 个连续视频场景;ClassicBench 整合 7 个经典视频重建基准;VRBench 涵盖机器人、自动驾驶及通用视频场景。据官方公布信息, LoFT 在多项深度估计指标上达到 SoTA 。 ▲ 通用 3D 空间重建评测 SpatialBench,多项指标达到 SoTA ▲ 在经典重建 ClassicBench 和连续视频重建 VRBench 中达到 SoTA 效果 在应用侧,官方称 LoFT 可利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,覆盖机器人第一人称视频、…
Original text(via IT之家)
地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA IT之家 11 月 19 日消息,11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。据介绍,该模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。
官方称,LoFT 原生面向连续视频建模,采用双循环 Transformer 架构,将跨帧视觉信息聚合与相机状态迭代优化相结合,用于挖掘视频中的时序关联与多视角几何信息。
IT之家从官方公布信息获悉,第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧的连续性与跨视角的几何关联;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算。
模型结合双循环特征预测逐帧深度及其置信度,恢复场景的可见三维结构。
官方表示,为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台,约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景,并通过统一的数据清洗、质量筛选和采样策略提供数据基础。
图片 图片 图片 图片 评测方面,研究团队在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中将 LoFT 与 VGGT-Ω、DA3-Giant 等代表性模型比较。其中 SpatialBench 覆盖 12 个数据集、98 个连续视频场景;ClassicBench 整合 7 个经典视频重建基准;VRBench 涵盖机器人、自动驾驶及通用视频场景。据官方公布信息,LoFT 在多项深度估计指标上达到 SoTA。
图片 图片 在应用侧,官方称 LoFT 可利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,覆盖机器人第一人称视频、动态街道、室内操作及开放环境探索等场景。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。
相关文章 《极限竞速:地平线 6》游戏 2026 年末-2027 年路线图公布,含两款 DLC 及内容更新 地平线创始人余凯吐槽智驾芯片 PPT 算力虚标:英伟达按稠密算力两倍标,而业界已经吹到 6-7 倍 7.98 万元起:一汽-大众捷达 M6 上市,地平线征程 6M 辅助驾驶 《极限竞速:地平线 6》PS5 版官宣北京时间 2027 年 1 月 27 日发售,498 港币起 《极限竞速:地平线 6》开发商 Playground Games 承认与玩家沟通不足,后续考虑调整 消息称《极限竞速:地平线 6》PS5 版 2027 年 1 月 26 日发售,有实体光盘版 The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.
Published by IT之家
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗