Newshot

昇腾算力训出了双榜SOTA的具身世界模型,华为云这次想把整套底座开放出来

Summary

国产算力的成熟,把具身竞争维度从「芯片有多强」,拉入了一个比拼训练效率、数据规模、部署成本和场景落地速度的多维战场。

Original text(via 量子位)

昇腾算力训出了双榜SOTA的具身世界模型,华为云这次想把整套底座开放出来

国产算力的成熟,把具身竞争维度从「芯片有多强」,拉入了一个比拼训练效率、数据规模、部署成本和场景落地速度的多维战场。

田晏林 发自 凹非寺 量子位 | 公众号 QbitAI

量子位 | 公众号 QbitAI

华为云要开源具身世界模型了,一开就是双榜第一!

关键是,这个模型用的还是国产昇腾算力。

11月16日,华为云发布了昇腾原生具身世界模型CloudRobo-WM1.2。

在RoboTwin 2.0和LIBERO-Pro 2.0两项具身智能评测中,它的平均成功率都排第一。

华为云计划在11月30日,开放该模型权重、推理代码和后训练代码。

好么,连后训练代码都直接开源放出,华为这一步确实够猛。

别家机器人团队想教这个模型干个新活儿,不用从零搭训练链路,拿到现成代码,接上自家数据就能直接上手调试验证!

而且这次,华为云没有停留在「把模型迁移到昇腾芯片上跑通」这一步,而是从模型架构、训练框架到核心算子、推理部署,围绕具身模型的特点做软硬件协同优化。

从世界模型预训练、强化学习,到机器人上手干活,华为云把这整条链路接了起来。

这正是「昇腾原生」的核心含义。

国产算力,具身世界模型也能训到双榜第一

首次亮相,华为云具身世界模型CloudRobo-WM1.2就交出了两份亮眼成绩单。

在RoboTwin 2.0和LIBERO-Pro 2.0上,分别跑出88.98%和81.73%,双双拿下第一。

这款模型在昇腾算力上训练,并且其训练框架、关键算子、推理部署,也都围绕昇腾做了优化。

「昇腾原生」,说的就是这套做法。

仿真榜单成绩亮眼,真机场景同样经得起考验。

在第三方独立测试中,5种机器人本体上阵,考了13项操作任务。从转旋钮、双臂连续交接到玩具入篮,模型的平均成功率比第二名高出23个百分点。

有个小细节挺有意思。机器人将插头插入后意外滑脱,CloudRobo-WM1.2可以根据新观测画面动态调整动作,重试插接。

这意味着,它记住的不只是固定动作轨迹,其还具备对物理交互结果的预判能力。

不过,听了华为云在最近举办的具身世界模型CloudRobo发布会上的介绍,我又感觉它能取得SOTA表现,不算意外了。

首先,CloudRobo-WM1.2在「让机器人更懂物理世界」这件事上,下了一些功夫。

常规模型能够识别杯子、定位杯子的空间位置,但学到的大多只是特定视角下的外观特征。

一旦涉及物理交互——比如机器人向前推动杯子,杯子会滑动还是倾倒?这类问题普通模型很难精准预判;在物体遮挡、视角变化、物体动态运动的场景下,误差会更加明显。

华为云采用PPA(Perceive-Predict-Act)多模态世界表征架构,针对的就是这个问题,它把感知、预测和动作放在同一阶段联合训练,同步接入RGB视频、DINO语义特征、深度和三维点云多类信号。

所以,机器人不光会知道杯子是什么、在哪儿,还能理解它的空间结构、运动状态,以及预判动作带来的物理结果。

「杯子被推一下后接下来会怎么动」这种复杂物理问题也能轻松应对。

模型能学的信息多了,具身数据里的动作标注、深度和相机视角却经常凑不齐。少了一项,剩下的还能拿来训吗?

华为云在预训练时用多粒度监督掩码,把缺失或无效的部分从损失计算里划掉。哪部分信息可靠,模型就学哪部分。

这就像做一道综合大题,如果其中某一小问的条件残缺读不通,我们不会直接放弃整道大题,而是先用其他清晰可用的条件继续推导求解。

它的实际意义不在于「容忍脏数据」,而在于让大量不够完美的异构数据进入训练,避免因为局部信息缺失直接丢弃整条样本。

真机采集数据成本高达500元~1000元/时,存量有效数据仅百万小时级别。而头部厂商判断的需求是亿小时级。

在这种供需差下,数据利用效率本身就是工程竞争力。

华为云还在「让机器人有更强的动手能力」这件事上实现了两处突破。

第一,场景理解与动作生成双路径协同,也就是DualAct架构。

一条是action expert动作专家分支,负责直接生成动作,速度更快,适合对响应速度要求更高的任务;

另一条依托世界模型骨干world generator,在理解场景的同时预测未来状态,精度更高,适合精细、复杂、需要考虑物理变化的任务。

而且,两条路用同一套动作目标训练,专家的大小也可以按任务调整,兼顾速度与精度。

第二,本体语义保真跨具身运动建模,解决一套模型适配多形态机器人的难题。

不同机器人本体差异巨大:单臂、双臂、轮式机器人结构各不相同,好比不同车型,操控逻辑各有区别;但同类任务背后,动作意图是共通的。

华为云这套技术,相当于给机器人装个「翻译器」。

模型保留机器人96维、人类运动168维各自的原生状态表征,再用本体标记区分各自的运动接口。

对物体和场景的理解可以一起学;该怎么动,就按机器人各自的结构特征来自主适配。

据华为云披露,现在训练数据已经扩到2.75万小时,接入20个数据源、33种本体。

另外,做具身模型还有一个共识,「想得准」和「动作出得快」挺难兼顾的。

给推理方案设置了四个「套餐」——World/Expert Action,Joint/Action-only,四种弹性推理模式可按需组合。

换句话说,可以只输出动作,也可以兼顾输出动作+做出预测;你还可以指定让动作专家来搞定,或是让世界骨干来完成。

研发调试要精度,实际部署要速度,都能照顾到,研发团队可以根据算力、时延的要求灵活组合,就像点菜一样,丰俭由人。

最重的一档,计算量约是最轻一档的11倍。

按任务挑着算,是CloudRobo-WM1.2在模型设计上省算力的办法。

可要把长视频、深度和动作一起训进去,还要让模型到了真机能及时出动作,昇腾是怎么接住这些活儿的?

「昇腾原生」,到底原生在哪里?

拿7B参数的世界动作模型算笔账。

光是模型参数、梯度和优化器状态,就要吃掉约112GB显存!

注意,长视频带来的额外开销,还没算进去呢。

具身世界模型对算力的胃口,不是一般的大。视频、深度、三维点云、动作序列,模型都得处理。算力与显存需求远超普通大模型。

到了真机上,又要算另一笔账。机器人等着下一步指令,模型得及时给出动作,推理开销也得控住。

这笔开销牵动的是整套训练系统。

几张卡怎么分活儿,大数据怎么送过去,训练框架和算子怎么在卡上跑,多分支梯度如何归约,attention选择性重算等,都要围绕昇腾这套硬件一起调。

一张工作台摊不开,就让几张台子一起干。

华为云把数据处理和模型计算分开,前者可以交给鲲鹏,后者由昇腾NPU来做。

多张昇腾卡通过超节点高速互联,长视频序列可以拆开算,模型参数也能分着存。

有些中间结果可以等用到时再算一遍,多花几步计算,给显存腾出地方。

桌子摆开了,下一批数据还得及时送过去。

两路各4Mbps的视频,录8000小时,光压缩视频就有约28.8TB。

训练时还要反复读、解码、抽帧,再把画面对上同一时刻的机器人轨迹。

华为云把视频、关节状态、末端轨迹、底盘和任务标签统一存起来,按一次完整的操作建索引。

搜到一段动作,相关数据就能一块儿取出来。常用的提前缓存,下一批要用的提前读。卡还在算手上这批,后一批已经在路上了,避免算力空等。

这有点像餐馆后厨:热门菜提前备料,下一单还没来,食材已经先解冻了。

数据到了,训练框架还得把活儿派匀。视频、点云和动作占的显存不一样,一批样本分得不好,这张卡已经挤满了,那张卡还空着。

华为云在框架里单独安排重计算,配合长序列和模型并行,把各张卡的负担分匀一点。几张卡要交换结果,也可以趁数据还在路上,先算手头能做的部分。

到了强化学习环节,同样存在算力等待瓶颈。

模型把动作算出来了,仿真里的机器人得照着做,再把新画面和结果送回来,训练才能接着跑。

华为云和清华大学于超团队把开源具身强化学习框架RLinf接到昇腾上,有个改动挺有意思。

在一组LIBERO测试里,模型一次给出10步动作,第10步才需要看新画面。那前9步的画面就无需逐帧渲染。物理仿真一步步走,奖励也照常算,在动作规划周期内减少渲染开销。

华为云团队把归一化、旋转位置编码等反复要做的运算,接到昇腾NPU的融合算子上。

原来要分几次做的计算,有些可以在卡上合着算。少下几次指令,中间数据也少搬几趟。

华为云透露,适配后,相关推理效率和训练吞吐有约2至3倍的提升。

拆开看RLinf公布的测试,GR00T N1.5和N1.6单位时间内能算出的动作增加了195%至278%,StarVLA的训练调用吞吐提升186%至240%。

一整轮强化学习能快多少,还得把仿真、通信和参数更新都算进去。

这些活儿接到了CloudRobo,也就是华为云的具身智能开发和运行平台。

数据难采,可以先在仿真里合成一批,再在昇腾上做预训练、强化学习和评测。

上真机时,就能用上前面说的四种推理模式。调试时把未来画面和动作一起算出来,现场干活时可以只算下一段动作。

动作算完了,还得及时送到机器人手上。

华为云用R2C(Robot to Cloud)接入不同机器人。现场的画面和状态能传上去,模型算出的动作也能发回来。

需要近距离无线通信时,还可以结合星闪,减少传输延迟。

碰上新的工况,团队会把采到的作业数据带回CloudRobo,看看模型在哪一步出了问题,再补训、评测,把更新后的模型部署回去。

好,模型能训出来,也能上真机了。到了工厂,先让机器人接哪道工序?到了仓库,哪种工况最该补数据?

这些事,天天跟设备打交道的人最清楚。

要把伙伴拉进来

可真要把一道工序教给机器人,谁也没法一手包办。

做模型的进厂,得补现场数据、学工艺。制造企业懂生产,但也得有人帮着采数据、训模型。

本体厂商则要把模型接到自家机器人上,边跑边调。

华为云呢,想把这几拨人拉到CloudRobo上一起做项目。

数据怎么进、模型怎么训、仿真怎么测、真机怎么跑,平台留了API、SDK、CLI和插件接口。

各家的模型、数采工具和训练框架,都能接进来用。

CloudRobo-WM1.2也会进平台,权重、推理代码和后训练代码计划于11月30日开放。

东西做好了,怎么卖出去?

华为云「行业AI梦工厂」具身智能专区依托昇腾云和CloudRobo,伙伴能在这儿发布数据集、模型、工具链和方案。

比如,做仿真引擎,华为云和伙伴一起打磨,做好的能力可以集成进CloudRobo,也能上云商店卖。

华为云具身智能产品线总裁、具身智能Lab主任吴小东还给了句准话:同等条件下,华为云优先推荐伙伴的模型和方案。

具身智能正在走向产业化的关键窗口期,昇腾云已成为国产云阵营中事实上的算力底座与生态入口。

从6月上线到现在,具身智能专区已经和230多家企业及高校开展合作,吸引了超1.65万名开发者,攒下1500多项行业资产。

当前,国内每10家具身智能企业,可能就有8家选了华为昇腾云。

身处国内具身智能市场处于第一梯队,华为昇腾云也完成国内重点高校的大范围覆盖。

浙大、上海交大等都已经和华为云深度合作。他们用昇腾算力、仿真平台和开源代码一起训模型、搭数据集、做评测,也共建课程和实训基地。

产业侧的落地也在持续提速:与福龙马围绕无人环卫展开合作,联合定义产品,也一起搞营销、推上市;与亿嘉和联合发布配网带电作业机器人,在配网高危作业中规模化商用;与山河智能联合推进矿山场景落地……

从工业制造、城市服务、应急救援,到生活服务、医疗康养、教育实训,CloudRobo的触角已经延伸至20多个行业。

One more thing

全球AI的比拼,正从一块芯片的性能,转向一整套系统的能力。

落到具身智能上,电力得供得上,机器人干活的数据得收得回来、用得起来,还得把机器交到客户手里,进了新场景能接着改。

国内有电力基建和「东数西算」打底。国产算力训练具身模型逐渐成熟,接下来比的就是谁训得更快、能用上更多数据、部署成本更低、落地更快。

单项技术能跑到前面,把各个环节接起来的工程能力和产业配套,也一样重要。

用昇腾原生训练的CloudRobo-WM1.2,在两项国际基准上都拿了第一,挺提气的。

至少对具身智能厂商而言,训练侧终于不只有英伟达一条路可走了。

  • 具身机器人进入真机时代,华为云CloudRobo开始组队发力了2026-11-20
  • 潜伏小红书48h:AI时代,顶尖技术人才都在聊什么?2026-11-18
  • 大模型都能控机器人,Human Data还得怎么卷?2026-11-13
  • OpenAI新融资到账110亿美元,不及原计划一半2026-11-07

相关阅读

大模型看Coding,具身看Picking!原力灵机已抢先入局

李飞飞发布全新世界模型,单GPU就能跑!

华为云郑叶来:云业务受禁令的影响最小

“对我们来说,更重要的是把我们的软件能力踏踏实实地提升上去。”

不做硅谷follower:几个读博的年轻人,押注双足人形的一体化大脑

机器人开卡丁车连续过弯,一镜到底全自主

华为全联接大会2025:华为云以AI新引擎,重塑千行万业智能跃升

Agentic AI正在改写AI的应用边界

千寻智能高阳:RobotGPT-1阶段已至,4年后达到3.5阶段 | MEET 2025

10年后10%人类可以有专属机器人

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by 量子位
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗