Newshot

物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs

Original text(via 量子位)

物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs

诺亚 发自 凹非寺 量子位 | 公众号QbitAI

量子位 | 公众号QbitAI

强化学习环境(RL Envs)正在成为一门新生意。

随着大模型走向工具调用、软件操作和多步骤任务,模型训练的方式也在发生变化。模型不再只是从已有的数据和答案中学习,还需要进入具体任务,执行动作、观察结果,再根据反馈不断调整策略。

对模型团队来说,算法决定模型如何学习,而环境决定模型能够练习什么、可以尝试多少次,以及如何判断一次尝试是否有效。能否找到足够多、足够真实、结果可判定的任务,正在成为后训练的一部分重要工作。

这块需求有多热,市场已经给出答案。Mercor、Surge AI、Handshake……过去一年,围绕大模型训练和后训练,一批新公司和新业务迅速进入硅谷视野。

11月10日,Mercor宣布完成7.5亿美元D轮融资,估值200亿美元。这家公司运营着超过500万人的专家网络,为前沿实验室和企业供应评测与后训练数据。今年早些时候,Mercor还收购了Deeptune——一支花费两年时间把数百个企业应用重建为训练环境的团队。

Surge AI则展示了任务环境与模型训练之间的联系。这家公司围绕文档、电子表格、网页调研、规划和工具调用等长程办公任务构建RL环境,并用Qwen3.5-122B-A10B做后训练,模型随后在从未见过的SWE-Bench Pro上提升了5.7个百分点。

Handshake AI的重心在专家与场景,为前沿实验室提供专家数据、RL环境和评分器,覆盖金融、生命科学、对齐等方向。据《时代》杂志援引其CEO的说法,这项业务上线约一年,年化收入达到10亿美元。

这些公司的业务形态并不完全相同,有的侧重专业任务,有的提供训练环境,有的将专家经验、环境构建和评测结合起来。

但它们指向了同一个变化:模型后训练所需的核心供给,已经从算法和算力,扩展到训练数据和环境——“做什么任务、在哪里练、如何判定结果”。

随着模型开始承担长程任务,环境的作用越来越具体:它决定模型能练习哪些工作、动作会带来什么结果、训练能否持续迭代。

当这些环境还在数字世界时,模型操作软件、修改文件、运行代码,动作造成的变化通常能被记录,也比较容易判断结果。

而当模型要从屏幕走向物理世界,训练环境从数字任务延伸到物理交互,无疑会更加复杂。

GPT-6 Astra,机器人的“GPT-3时刻”:大模型开始进入物理AI

大模型能力的进步,正在改变机器人研发的想象空间。

9月3日,OpenAI发布GPT-6 Astra,定位是电脑操作与编程的前沿模型。

一个月内,第三方评测陆续出炉:在RoboDojo的42个仿真任务上,Astra不做任何机器人专项微调,平均成功率22.48%,超过榜单上全部40个经过训练的机器人策略。

投资人Freda Duan在X上发帖,称Astra是“机器人领域的GPT-3时刻”;前OpenAI研究员Will Depue的说法更直接:专用模型被“苦涩教训”了。

当然,OpenAI官方从未公布机器人跑分,真机测试也呈现明显的长短板:把方块放进碗里,20次成功19次;换到精密插销任务,20次只成功2次。

讨论指向的变化是实在的:通用模型在推理、工具使用和多步骤任务上的进展,让“基础大模型直接进入物理世界”从愿景变成了现实。

而从数字世界到物理世界,强化学习训练要面对另一种反馈。

数字环境里,软件智能体的动作改变文件、网页或程序状态,结果通常明确;但机器人的动作则牵动物体的位置、姿态和接触状态,一次接触的位置、力度和结果,也会影响后续的操作。所以,除了理解指令和规划流程,机器人必须在交互中不断调整动作。

这也意味着,物理AI需要的RL Envs不是数字环境的简单复刻,它要承载具体工作任务,让机器人在不同初始状态下反复行动,并让关键物体对策略动作作出可信响应。

训练场地的选择随之收窄。真机试错受设备、任务重置和现场条件限制,很难规模化;仿真可以提供可重复的训练条件,但前提是环境能承载具体任务、对策略动作持续给出反馈。

构建物理真实的RL Envs,由此成为基础大模型进入物理世界的必经之路。

复杂、多阶段的长程任务,RL Envs怎样教机器人干活?

在CoRL2026期间,光轮智能发布RoboFinals RL Environments(以下简称:RoboFinals RL Envs),面向机器人模型提供可交互的强化学习仿真环境。

不同于传统的围绕单一动作设计的训练场景,RoboFinals RL Envs以真实工作任务为导向,首发展示了时长超过8分钟的长程仿真任务——汽车修理长程工作。

这个任务将灵巧手操作、工具使用、多阶段流程和柔性物体交互组织在同一个工作场景中,涉及软管、线缆、密封垫等不同类型的物体。

它所呈现的复杂度,不仅在于单个动作本身的精细程度,更在于多种物理交互如何在同一任务链条中发生耦合关联。

第一,灵巧操作:自由度和接触点成倍增加。

多数机器人操作任务使用平行夹爪,只有开合一个自由度。灵巧手通常有十几到二十多个自由度,每根手指独立运动。

对策略来说,动作空间的维度大幅上升;对仿真来说,手指与物体之间同时存在多个接触点,每个点的受力都需要求解。如果接触算不准,物体就会滑脱或穿透,策略学到的抓握方式在真实世界里无法成立。

第二,长程任务:误差随着时间累积。

此前机器人强化学习环境中,常见的任务设计是抓取、放置等相对独立的动作。

例如Pick-and-Place,机器人需要完成物体抓取并放置到指定位置。但实际工作环境通常对应多段动作组合而来的任务,机器人要进入真实工作,必然要进入长程任务的训练。

任务越长,训练也越难。早期动作的影响很久之后才显现,每一步的小偏差还会不断叠加。

这是长程任务与多个独立任务简单拼接之间的重要区别。

常见的做法是把长任务拆成几段,每段从人工设定的初始状态开始。这降低了难度,但也去掉了真实工作的一个关键条件:机器人无法真正承接前一步操作造成的状态变化。

RoboFinals RL Envs的任务中,前后阶段相互关联。前一步造成的物体位置、姿态和接触状态变化会延续到后续步骤,策略必须学会在不完美的中间状态上继续完成任务。

第三,可变形物体交互:状态难描述,参数难确定。

软管、线缆、密封垫是可变形柔体,仿真时要离散成大量节点逐一计算,计算量和数值稳定性的压力都远高于刚体。

它们的行为还取决于刚度、阻尼、摩擦等参数。参数稍有偏差,仿真中的柔体表现就可能过软、过硬,或出现真实世界中不存在的抖动。而柔体交互后的形状响应,会直接影响后续的任务过程。

灵巧手的手指需要与物体发生接触,工具操作涉及精细的位置和姿态控制,软管受到牵拉时会产生弯曲和摆动,密封垫受压则会发生形变。

这些对象具有不同的物理属性和交互方式。单独呈现其中一种物体的运动并不困难,难点在于将它们放进同一个任务环境,使机器人能够在连续操作中与不同对象发生交互。

光轮此次展示的重点,不只是一个汽车维修仿真场景,而是将精细操作、复杂物体交互和长程任务组织在一起的机器人强化学习环境。要同时做到这几点,只能从底层做起。

光轮智能的全栈自研仿真底座SimFoundry覆盖“求解-测量-生成”三个环节:

求解器负责把刚体、关节体和柔性体的交互算对;

测量环节让物体的物理参数来自真实数据;

生成环节由AI Agent驱动,基于真实任务完成资产重建、物理建模和任务定义。由Agent驱动生成链路,真实场景和任务才能成批进入仿真。

光轮智能把这套标准称为RL Ready:任务语义上,每个阶段有明确的完成判定;物理交互上,试错条件下的反馈可靠;反馈信号上,可以直接用于训练。模型接入之后即可开始试错与迭代。

物理可信:光轮的仿真积累如何支撑长程任务

物理AI需要的强化学习环境,对搭建方提的要求很严格:

资产要视觉真实,还得物理真实。做到高质量的仿真环境搭建,需要高质量资产、高精度物理求解器、专家经验,三样缺一个,长程任务就会卡住。

问题在于,这三个单点能力很难同时被一个团队汇聚起来。

做资产的不碰求解器,卖仿真软件的手里没有真实场景,模型团队知道什么算对,却不太有动力做环境。

单点demo谁都能拼凑,但拼完就发现运行不下去。长程RL Envs迟迟没人推出来,卡点正是在这里。

光轮智能的不同之处,是这三样能力都握在自己手里。

作为Newton仿真技术委员会里唯一的中国公司,光轮智能参与定义SimReady仿真标准,同时是SimReady Central Library开源仿真资源库的核心贡献方。

早先展示的线缆插拔、塑料袋抓取等仿真任务,团队便展现了处理柔性物体的形变、接触和状态变化的能力,这类对象比刚体难缠得多。

而汽车维修任务,虽然对象变了,但处理的仍是同一类问题。资产、场景、自研求解器,这几个核心能力,都是这些年一点点打磨出来的。

△光轮智能已实现物理真实的颗粒、柔体与刚体的协同交互

能力凑齐还不够,得咬合起来才产出可训练的环境。

Agentic校准工作流干的就是这件事:Agent提方向、比结果、组织下一轮修正方向,光轮智能的仿真专家在关键节点上拍板,不断优化。

此次发布中的一个具体案例可以说明这一工作流的运作方式。

在维修汽车的任务中,充气设备的软管受到牵拉时的弯曲和摆动会影响机器人操作,初始仿真中存在异常抖动。

Agent连续自动化校准,逐步找到对软管响应影响最大的杨氏模量参数。候选参数和轨迹出来后,人类专家再把仿真中的弯曲、摆动与实际软管的表现放在一起判断,协助完成最后的校准。

样例中,最大位置偏差缩小约3毫米,原先明显的抖动也有所减轻,软管响应更接近真实。

△从V1到V3,与真实数据对比的误差结果不断缩小

物理参数调整的对象明确、结果可对照,由此形成自动化校准工作可复现的基础。

环境的构建能力能否规模化扩张,则决定了环境库能走多远。

光轮智能的规划是让RL Envs承载更多类型、不同难度和不同任务跨度的机器人工作,环境库的分布跟随真实任务分布,场景类型覆盖家居、工业、零售、医疗等;操作类型与难度从抓取放置,到对准、工具使用、力控,再到精密闭环操作;资产类型包括刚体、关节体、柔体、流体。

环境做出来了,接下来轮到模型团队提问:我怎么知道它学会了?

训练环境得配一套能对齐的评测。RoboFinals RL Envs和RoboFinals Benchmark共享任务语义、场景资产和能力定义,训练和评测说的是同一套工作要求;训练任务、奖励调参的过程和评测实例则严格分开,给学习效果留一份独立检验。

行业里,能训练的往往不能评价,能评价的手里又没有自己的环境,同源设计只有在同一条产品线上才成立。

开源工具把启动仿真的门槛降下来了,可资产适配、物理校准、运行检查这些活一样没少。

光轮把它们打包成一个可以交付的产品,模型团队接上策略就能开训。环境能力不再是“某个团队内部攒出来的活儿”,而是可以采购、复用的标准件。

行业里,资产有人做,求解器有开源的,评测也有机构在做,单看每一项都不算独家。光轮智能率先把从“环境构建-校准-评测-交付”的一整条路走通了。

RL Envs的价值,最终要体现在策略能否在环境中持续行动,并根据每一轮交互结果调整行为。

光轮智能此次发布还展示了同一任务在不同策略迭代阶段的变化:

第一阶段(5 steps),机械手动作仍较为抖动,尚未完成抓取;

第二阶段(150 steps),策略已经开始尝试抓取,但螺丝在操作过程中出现滑落;

第三阶段(175 steps),策略成功抓起螺丝,完成了这一任务步骤。

这说明RoboFinals RL Env能够承载策略训练中的试错与行为变化,让模型表现的迭代过程在一个可重复的仿真任务中被观察和记录。

从数据评测到RL Envs,光轮补上模型持续学习的一环

大模型的发展已经表明,模型能力的提升不仅取决于算法本身,也与训练任务、交互条件和反馈机制密切相关。

对于机器人而言,这一问题更加复杂。

当模型从完成单一动作走向执行多阶段工作流程,环境不仅要承载任务,还需要处理精细化操作、物理交互、连续状态变化和长程反馈。机器人能练习什么、如何获得反馈,正在变成影响训练效果的变量。

光轮智能此前已经在围绕物理AI构建起“数据-评测-部署”全链路能力。此次推出的RoboFinals RL Envs则将产品能力进一步延伸至交互式训练环境。

依托SimFoundry仿真底座,光轮将复杂任务、物体资产和交互规则组织为可运行的仿真环境,使模型能够直接在环境中控制机器人执行任务、观察状态变化,并通过反复尝试来探索不同策略。

对于难以批量获取后训练数据的复杂操作任务,这也提供了一种新的学习经验获取方式。

模型训练后需要评测诊断,找到下一轮能力提升的方向,RoboFinals RL Envs与RoboFinals Benchmark分别面向策略训练和能力评测。模型可以在环境中进行交互和策略优化,再通过独立评测检验任务表现、识别能力边界。

从数据供给、仿真技术到规模化评测,再到强化学习环境,光轮智能的产品布局也反映出物理AI基础设施需求的变化:从模型研发所需的数据和评测资源,拓展到模型与物理环境之间的持续交互。

当机器人开始承担更复杂、更连续的工作任务,如何构建能够承载这些任务的学习环境,也正在成为物理AI基础设施需要回答的重要问题。

  • Claude紧急叫停!暗改Harness禁止逆向游戏2026-11-01
  • AI进入企业的最后一公里,怎么这么难啊啊啊!2026-10-16
  • 不er,咋陶哲轩也成AI减速派了??2026-10-06
  • OpenAI「疯狂28天」首日,这都发了些啥啊…2026-10-06

相关阅读

脑洞清奇,日本工程师造出“自动驾驶”鸭子机器人,要给稻田除草

谷歌AGI机器人大招!54人天团憋7个月,强泛化强推理,DeepMind和谷歌大脑合并后新成果

用大模型给机器人造“大脑”

稚晖君自制全新机器人「哪吒」,预告创业发布会!

英伟达团队机器训练新方法!仅5次演示让机器生成1000个新demo,李飞飞高徒与徒孙联手出品

仿真任务成功率最高97%

AI理解不了“他她它”咋办?动词成为新突破口,机器人听到抹黄油就知道拿刀叉 | 清华AIR&北大&英特尔

商汤AI象棋机器人到底谁在买?北大象棋大师已签收

北大象棋大师抢购首台AI象棋大师

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by 量子位
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗