Newshot
Account

Gemini Robotics 2.5 提升机器人在真实环境中的通用灵巧度

AI summary

Gemini Robotics 2.5 是 Google 目前能力最强的视觉-语言-动作模型,可提升机器人的灵巧度、可靠性与安全性。

Translation(model translation, not the source's own text)

Gemini Robotics 2.5 accelerates real-world general dexterity

Carolina Parada

我们正在让机器人更快地为真实世界学习——从日常技能到工厂车间

今天,我们推出 Gemini Robotics 2.5,这是我们迄今能力最强的视觉-语言-动作(VLA)模型。Gemini Robotics 2.5 既拓宽了机器人可学习的技能范围,也提升了它掌握这些技能的速度。这增强了灵巧性、可靠性与安全性,帮助机器人走出实验室,进入更非结构化、更真实的现实环境,在那里它们能协助人们完成更广泛的任务。

今年早些时候,我们为包括人形机器人在内的多种机器人带来了全身智能。如今,很大程度上得益于 Gemini 4 Argon 加速机器人研究的能力,我们进一步推进了物理智能的前沿。我们在超过 200 个不同任务上测试了 Gemini Robotics 2.5 在任务广度、性能与复杂性方面的能力,而这一方法还可扩展到更多任务。

Gemini Robotics 2.5 在三个关键领域实现了跨越:

  • 灵巧性:我们的机器人能以更高的性能和灵巧度完成显著更多的任务——从使用日常工具到处理精致、柔性的物体。
  • 可靠性:在 Mercedes-Benz 生产线上的真实世界概念验证中,我们的模型帮助 Apptronik 的 Apollo 2 人形机器人拣选并包装汽车零部件,成功率达 96%。这有望让机器人承担单调的工作,使技术人员能够专注于复杂的装配任务。
  • 安全性:随着机器人进入日常环境,我们改进了物理安全可操控性,并推出了一项新基准,用于测试针对机器人领域的对抗性越狱。

Gemini Robotics 2.5 正陆续向我们的机器人合作伙伴开放。

Expanding task breadth, reliability, and dexterity

由于真实环境是非结构化且不可预测的,机器人必须能够以精细的精度和高可靠性处理日常物体。

借助 Gemini Robotics 2.5,我们扩展了模型在任务广度、性能与复杂性方面的能力。我们在 200 个不同任务上评估了该模型——例如用夹子盛菜、给礼盒系蝴蝶结、用移液器吸取液体。这些任务结合了多项技能,包括高级工具使用、对可变性物体的复杂操作,以及以精细手法处理易损物体,代表着迈向人类级灵巧性的一步。

我们的评估显示,任务精度、鲁棒性和速度均有显著提升。与先前的基线相比,Gemini Robotics 2.5 视任务类型不同,成功率提高 30% 到 100%,同时完成任务的速度快 20% 到 30%。

与我们先前的 Gemini Robotics 模型一样,它原生适配多种不同的机器人类型,包括 Apptronik 的 Apollo 2 人形机器人(配备五指、22 自由度的 SharpaWave 手)以及配备两指平行夹爪的 Franka Duo 平台。

一张柱状图,比较 Gemini Robotics 2.5 与 Gemini Robotics 2 在各种桌面拾放任务上的表现,显示出成功率的显著提升。
一张柱状图,比较 Gemini Robotics 2.5 与 Gemini Robotics 2 在各种桌面拾放任务上的表现,显示出成功率的显著提升。

文章标题:Gemini Robotics 2.5 accelerates real-world general dexterity

一张柱状图,比较 Gemini Robotics 2 和 Gemini Robotics 2.5 在各种桌面拾取放置任务中的成功率。Gemini Robotics 2.5 始终优于其前代产品,在 Gemini Robotics 2 得分明显较低或为 0% 的许多任务上达到了 100% 的成功率。
一张柱状图,比较 Gemini Robotics 2 和 Gemini Robotics 2.5 在各种桌面拾取放置任务中的成功率。Gemini Robotics 2.5 始终优于其前代产品,在 Gemini Robotics 2 得分明显较低或为 0% 的许多任务上达到了 100% 的成功率。
一张标题为“多步骤与富接触”的柱状图,比较 Gemini Robotics 2(蓝色条纹柱)和 Gemini Robotics 2.5(蓝色实心柱)的任务成功率。Gemini Robotics 2.5 在所有任务上都表现出显著的性能提升,其中重点提升包括“合上黑色工具箱的盖子”(从 0% 提升至 93%)、“将马克杯从挂钩取下放到桌上”(从 29% 提升至 75%)、“用刷子将垃圾扫入簸箕”(从 0% 提升至 52%)以及“打包电饭煲”(从 0% 提升至 40%)。
一张标题为“多步骤与富接触”的柱状图,比较 Gemini Robotics 2(蓝色条纹柱)和 Gemini Robotics 2.5(蓝色实心柱)的任务成功率。Gemini Robotics 2.5 在所有任务上都表现出显著的性能提升,其中重点提升包括“合上黑色工具箱的盖子”(从 0% 提升至 93%)、“将马克杯从挂钩取下放到桌上”(从 29% 提升至 75%)、“用刷子将垃圾扫入簸箕”(从 0% 提升至 52%)以及“打包电饭煲”(从 0% 提升至 40%)。
一张柱状图,比较 Gemini Robotics 2 和 Gemini Robotics 2.5 在各种多步骤、富接触任务中的成功率,展示了 2.5 版本的显著性能提升。
一张柱状图,比较 Gemini Robotics 2 和 Gemini Robotics 2.5 在各种多步骤、富接触任务中的成功率,展示了 2.5 版本的显著性能提升。
一张标题为“精密配套与插入”的柱状图,比较 Gemini Robotics 2(蓝色条纹)和 Gemini Robotics 2.5(蓝色实心)的任务成功率,展示了 2.5 版本的显著性能提升。
一张标题为“精密配套与插入”的柱状图,比较 Gemini Robotics 2(蓝色条纹)和 Gemini Robotics 2.5(蓝色实心)的任务成功率,展示了 2.5 版本的显著性能提升。
一张标题为“精密配套与插入”的柱状图,比较 Gemini Robotics 2 和 Gemini Robotics 2.5 在各种任务中的成功率,突显了 Gemini Robotics 2.5 的显著性能提升。
一张标题为“精密配套与插入”的柱状图,比较 Gemini Robotics 2 和 Gemini Robotics 2.5 在各种任务中的成功率,突显了 Gemini Robotics 2.5 的显著性能提升。
一张柱状图,比较 Gemini Robotics 2(条纹柱)和 Gemini Robotics 2.5(蓝色实心柱)在各种灵巧操作任务中的成功率。图表显示 Gemini Robotics 2.5 的成功率大幅提升,突出展示了具体任务,如用夹子装糕点(从 5% 提升至 100%)、解开丝带蝴蝶结(从 0% 提升至 70%)、挂开衫(从 0% 提升至 62%)以及叠裤子(从 0% 提升至 40%)。
一张柱状图,比较 Gemini Robotics 2(条纹柱)和 Gemini Robotics 2.5(蓝色实心柱)在各种灵巧操作任务中的成功率。图表显示 Gemini Robotics 2.5 的成功率大幅提升,突出展示了具体任务,如用夹子装糕点(从 5% 提升至 100%)、解开丝带蝴蝶结(从 0% 提升至 70%)、挂开衫(从 0% 提升至 62%)以及叠裤子(从 0% 提升至 40%)。
一张柱状图,比较 Gemini Robotics 2(条纹柱)和 Gemini Robotics 2.5(蓝色实心柱)在各种灵巧操作任务中的成功率。图表显示 Gemini Robotics 2.5 的成功率大幅提升,突出展示了具体任务,如用夹子装糕点(从 5% 提升至 100%)、解开丝带蝴蝶结(从 0% 提升至 70%)、挂开衫(从 0% 提升至 62%)以及叠裤子(从 0% 提升至 40%)。
一张柱状图,比较 Gemini Robotics 2(条纹柱)和 Gemini Robotics 2.5(蓝色实心柱)在各种灵巧操作任务中的成功率。图表显示 Gemini Robotics 2.5 的成功率大幅提升,突出展示了具体任务,如用夹子装糕点(从 5% 提升至 100%)、解开丝带蝴蝶结(从 0% 提升至 70%)、挂开衫(从 0% 提升至 62%)以及叠裤子(从 0% 提升至 40%)。

Testing real-world reliability with Apptronik’s Apollo and Mercedes-Benz

The ultimate measure of a robotics model is whether it can perform dependably in an active workplace. To put Gemini Robotics 2.5 to the test, we partnered with Apptronik and Mercedes-Benz to use Apollo 2 humanoid robots on active automotive production lines in Kecskemét, Hungary, and Sindelfingen, Germany.

机器人难以适应新的、不可预测的环境,我们的 Gemini Robotics 模型赋予 Apollo 思考、多步推理并采取行动适应变化的能力。在这个概念验证中,Apollo 2 自主完成汽车配件分拣:这是一项重复性强、体力消耗大的工作,需要将散装料箱中的单个零件,按产线上每辆车的所需顺序分拣到有序的托盘中。卸下这项单调的准备工作有助于保持装配线持续运转,同时让技术人员腾出精力专注于复杂的装配任务。

借助我们的具身推理模型(Gemini Robotics ER)跟踪工作流程,并用 Gemini Robotics 2.5 动作模型控制其手部和手臂,机器人伸手进入供料箱,抓起金属汽车支架,并将它们放入排序容器中,同时纠正任何遗漏。该试点项目达到 96% 的成功率,显示出朝着广泛的真实世界工业应用迈出的有前景的一步。

两台人形机器人在汽车工厂装配线上分拣蓝色料箱中的零件。
两台人形机器人在汽车工厂装配线上分拣蓝色料箱中的零件。

图表:Jeff Cardenas,Apptronik 联合创始人兼 CEO

这正是我们打造 Apollo 的目的:在真实的工业环境中与人们并肩完成有用的工作。将 Apollo 2 与 Gemini Robotics 结合后,我们看到模型在短短几周的后期训练中大幅提升,并且迁移到 Mercedes-Benz 的生产中时性能几乎没有下降。这是将人形机器人规模化带入工业和商业环境的基础。

Apollo 2 使用 Gemini Robotics 2.5 在 Mercedes-Benz 工厂自主执行汽车配件分拣。

提升机器人的可操控性与智能体安全性

当机器人在杂乱、日常的空间中运行时,物理安全至关重要。为帮助确保这一点,我们大幅提升了 Gemini Robotics 2.5 的安全特性。

Gemini Robotics 2.5 使用推理时推理引导来实时绕开物理危险。就像安全分类器在 Gemini 的回复周围增加一层保护,这种引导让机器人能够安全地在复杂环境中导航。在我们的评估中,该能力使绕开障碍物的安全任务完成率提升了 33%,绕开附近人员的安全任务完成率提升了 43%。

我们也在提升长时序、智能体任务的安全性。Gemini 4 Argon 目前在我们的智能体机器人评估中领先,涵盖不安全任务拒绝、消解不确定性以及在人类附近工作。为测试越狱鲁棒性,我们发布 ASIMOV-Jailbreak,这是一个新的开源基准,包含数百条提示,在数十个场景中伪装不安全请求。Argon 达到 99.5% 的越狱抵抗力,相比我们此前基线 Gemini Robotics ER 2 的 82% 有显著提升。

由 GR-2.5 可操控性实现的安全、具备人类感知的机器人动作

用 Gemini 4 Argon 加速机器人研发

要教会机器人新技能,研究人员需要大量物理数据和高效建模算法。Gemini 4 Argon 的机器人研究能力通过充当仿真引擎,帮助解决了这些瓶颈,极大加速了我们对 Gemini Robotics 2.5 的开发。

Gemini 4 Argon 的机器人研究能力加速 Gemini Robotics 2.5 的示例

Gemini Robotics 2.5 加速现实世界中的通用灵巧性

Argon 可以从一个现实世界的相机场景中生成数千次多样化的模拟练习运行,并构建逼真的数字孪生。结合真实训练演示,这使机器人能够更快地泛化到新场景和物体。Argon 还可以帮助研究人员根据视频片段推测任务失败的原因,并在模拟环境和真实机器人上直接测试最佳改进方案。

在 Gemini 4 Argon 等前沿智能模型的加速下,Gemini Robotics 2.5 标志着通往解决物理 AGI 道路上的重要里程碑。通过在灵巧性、现实世界可靠性和严格安全性方面取得进展,我们正在构建机器人所需的物理智能,使其能够与人们协同工作并解决现实世界挑战

致谢

本工作由 Gemini Robotics 团队开发。我们感谢以下人士对本项工作的领导和支持:Huizhong Chen、Radu Soricut、Jean-Baptiste Alayrac、Melvin Johnson、Edward Grefenstette、Claire Cui、Jon Shlens、David Thacker、Zoubin Ghahramani、Clement Farabet、Koray Kavukcuoglu 和 Demis Hassabis。我们还要感谢 Google 和 Google DeepMind 中为本项工作做出贡献的众多团队,包括研究、法务、市场、传播、责任与安全委员会、负责任发展与创新、政策、战略与运营,以及我们的业务与企业发展团队。最后,我们感谢我们的合作伙伴:Agile、Apptronik 和 Mercedes-Benz 团队对本发布的支持。

相关文章

用于机器人技术的 Gemini 4 Argon

Gemini Robotics 2 为机器人带来全身智能

Gemini Robotics 1.5 将 AI 智能体带入物理世界

Gemini Robotics 将 AI 带入物理世界

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Google DeepMind
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗