Newshot

走进Omniverse:开发者如何借助前沿AI智能体将创意转化为仿真

AI summary

将仿真创意转化为可运行的应用,意味着要整合素材、连接物理与渲染,并验证场景行为是否符合预期。开发者正把前沿AI模型与NVIDIA Omniverse库结合起来完成这些工作,构建用于探索场景、排查故障和改进设计的应用。开发者通过自然语言指令指挥AI智能体,审阅结果并引导修改;Omniverse库则提供GPU加速的物理、渲染和传感器仿真能力。

Translation(model translation, not the source's own text)

将仿真想法转化为可运行的应用程序,意味着要汇集资产、连接物理与渲染,并检查场景是否按预期运行。开发者正将前沿 AI 模型与 NVIDIA Omniverse 库相结合,以帮助完成这些工作——构建用于探索场景、调查故障和改进设计的应用程序。

开发者通过自然语言指令指挥 AI 智能体,审查结果并引导修改。Omniverse 库提供 GPU 加速的物理、渲染和传感器仿真能力。

浏览以下项目,了解 GPT-6 Astra 等前沿 AI 模型的实际应用,并持续关注 NVIDIA 团队及生态开发者带来的新示例。

物理 AI 铺就自主工业运营之路 🔗

由前沿模型驱动的 AI 智能体为自主运营铺平了道路。它们利用工业工具和工程数据,帮助工程师构建数字孪生,以测试计划和流程并评估运营决策。

KONGSBERG 旗下的 Falkor 展示了这一模式在实践中的运作方式。该公司的 Falkor Surface 平台让客户能够利用 GPT-6 Astra 模型,将计算机辅助设计与工程数据转化为设施规模的数字孪生。该平台在 Microsoft Azure 上使用 NVIDIA Omniverse 库和 NVIDIA RTX PRO 6000 Server Edition GPU,以实现高级物理仿真。

基于 Falkor 智能体引擎构建的 AI 智能体能够理解密集的技术文档、空间关系和真实世界的物理规律。工程师可以在前往现场之前,在仿真中创建并测试计划,从而减少代价高昂的延误和错误。他们还可以在共享视图中检查设备并核对间隙。

阅读 Falkor 的文章并观看直播,深入了解该公司如何构建这些工具并检查智能体的工作。

使用 SimReady 资产构建机器人抓取放置仿真 🔗

将机器人模型放入场景只是开始。开发者还需要组装其组件、添加控制,并检查它能否完成一项任务。

NVIDIA 开发者 Dillon Bailey 和 Rishabh Chadha 使用 SimReady Central 库中的 3D 资产,借助 NVIDIA Isaac Sim 框架构建了一个机器人移动罐子的抓取放置仿真。他们指挥一个配备 GPT-6 Sol 和 Isaac Sim 技能的智能体来组装场景并生成抓取放置控制。

对组装好的场景进行测试,可以展示各资产如何协同工作,从关节运动和接触行为,到夹爪抓取、移动和释放罐子的能力。有了这一基线,开发者可以调整物体位置和运动路径,并重复测试,以评估每项改动对任务的影响。

按照演练步骤,在 Isaac Sim 中组装并测试一个抓取放置仿真,其中包含智能体提示示例以及对机器人运动和抓取行为的检查。

使用 SimReady 资产构建语音控制的 VR 仿真 🔗

将 3D 资产引入虚拟现实(VR)不仅仅是渲染一个场景。物体需要对控制器做出响应,并在被抓取、移动或释放时按预期表现。

NVIDIA Omniverse 社区开发者 Michael Wagner 接受了这一挑战。他指挥 GPT-6 Astra 使用 Blender 软件根据两张参考图片为一个书房环境建模,在视觉质量与 VR 中的高效性能之间取得平衡。

随后,他使用 Claude Code 构建了一个应用程序,让用户可以通过语音查找 SimReady Central 资产,并在沉浸式 VR 场景中与它们交互。Claude Code 智能体工作了约八个小时,Wagner 使用 NVIDIA RTX 6000 Ada 工作站和 Meta Quest 3 VR 头显,在一个周末内构建了这个应用程序。

像 {{NAME_ab12cd34}} 这样书写的值是真实值的占位符。请在回复和工具调用中完全按照所写内容使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

文章标题:走进 Omniverse:开发者如何借助前沿 AI 智能体将想法变为仿真

正文: 该应用基于 NVIDIA Omniverse 库运行:ovstage 共享 OpenUSD 场景,ovrtx 负责渲染,ovxr 支持 VR,ovphysx 运行物理模拟。Wagner 后来用 ovnewton 构建了第二个版本,该库与 ovstage 集成,用于比较物理库。

对 Wagner 而言,最大的挑战是检查头显内部发生了什么。自动化测试遗漏了他能亲身感受到的问题,包括抓取物体时的抖动。Wagner 报告了症状,引导智能体进行修改,并亲自验证了交互效果。将抓取控制每帧更新一次后,抖动问题得以解决。他的经验是:给智能体提供渲染画面和日志供其检查,然后亲自验证体验。

查看他的开源演示,获取构建说明、起始提示词和可复用的智能体技能。

在模拟医院中派 Microducks 巡房 🔗

在将机器人适配到新环境之前,开发者需要测试其行走策略——控制其运动的 AI——能否在该环境中保持稳定。

AI 开发者 Maziyar Panahi 指挥 Claude Code(使用 Claude Opus 5.5),用 13 个 NVIDIA SimReady 医院资产搭建了一个重症监护室,并在其中测试 Microduck 机器人。这些资产自带 Newton 物理设置,因此 Panahi 无需从头建模家具或创建碰撞几何体。Newton 物理引擎还有助于复制病房,使数百个副本能在单个 NVIDIA RTX PRO 6000 GPU 上同时运行。

当云容器缺少图形支持时,Panahi 和 Claude Code 智能体将仿真与渲染分离,在云端记录机器人姿态,在本地进行渲染。他们还将家具视为静态碰撞对象,从而在求解器限制内实现更大规模的运行。

机器人使用已训练好的 AI 行走,并沿路线跟随预设点。Panahi 检查了多少机器人保持直立:在一次 256 个病房的运行中,768 个 Microduck 在 14 个模拟秒后有 766 个仍然站立。他表示,智能体的工作耗时约两小时。

查看开源演示,获取起始提示词、检查项以及说明,先在 CPU 上从单个病房开始,然后扩展到 NVIDIA GPU 上的数百个病房。

用 Houdini 和 AI 智能体创建可编辑的 3D 资产 🔗

创建动画 3D 内容需要将建模、仿真、材质和渲染连接起来。NVIDIA BondLab 团队的高级技术美术 Nick Scarcella 指挥 AI 智能体——主要使用 Claude——配合 CUDA 库和 Isaac Sim 创建动画。BondLab 团队使用 SideFX Houdini 和 NVIDIA ovrtx 库来开发材质、灯光和最终渲染外观。

在一项实验中,Scarcella 引导 Astra 利用产品图片、手册和技术指导重现了 OP-1 便携合成器。他将模型导出到 OpenUSD 框架,在 Houdini 和 Blender 中测试,然后使用 Astra 和 Opus 完善细节,再为 ovrtx 渲染调整材质和纹理。

Scarcella 还在 Isaac Sim 中使用了公开共享的机械手检查点,指导运动并在 Claude 的协助下于 Houdini 中开发材质和灯光。他与团队成员 Steven Dvornik 合作,创建了“Echos”可视化:手的半透明版本重叠并融合为单一手部动画,为机器人训练提供了一种视觉诠释。

图:模拟机械手运动的艺术化可视化,借助 AI 辅助和 Houdini 的材质与灯光工具开发。

这些工作流将智能体辅助的创作带入现有艺术家工具,为团队提供可编辑的内容,他们可以在不同应用中检查、完善和渲染。

查看 Scarcella 的 Houdini MCP 工具和智能体技能。

用计算机辅助设计与仿真测试机器人拆解 🔗

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都请完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

文章标题:走进 Omniverse:开发者如何借助前沿 AI 智能体将创意转化为仿真

正文: 在机器人能够拆解产品之前,开发者需要知道它的工具能否触及并拆下零件。Jens Jebens,NVIDIA 的 OpenUSD 高级产品经理,指示 Astra 在 PTC Onshape 中为汽车悬架建模,并在 NVIDIA Isaac Sim 中对其进行配置。

Jebens 利用仿真反馈来修改工装,包括设计了一把用于触及悬架螺栓的扳手,并报告称在仿真中成功拆下了一个悬架部件。

PTC 还通过 Onshape 的 SimReady Publisher 将计算机辅助设计(CAD)与仿真连接起来,该工具基于 NVIDIA Omniverse 库构建。机器人初创公司 Sensori 用它将其 Yuri 机器人导入 Isaac Sim,同时携带几何、关节和配置数据,使团队无需反复重建仿真模型即可评估设计变更。

阅读 Sensori 的故事。

探索 Onshape 导入器指南。

从现场扫描创建可编辑的建筑模型 🔗

规划仓库自动化需要建筑本身的模型,但货架和机械会在现场扫描中遮挡其结构。Omniverse 将 real-to-sim 工具与智能体技能结合起来,帮助开发者将真实世界的采集数据转化为可用于物理 AI 仿真的可编辑初始环境。

来自 NVIDIA 仿真技术团队的 David Wehr 在此基础上,使用 Astra 开发了一套工作流,用于在不含内部物品的情况下对建筑进行数字化重建。目标是得到一个可编辑、可直接用于仿真的建筑模型,开发者可以在其中添加或重新布置货架和机械,以便在进行物理改动之前评估仓库布局和自动化方案。

Wehr 引导 Astra 解读全景照片、创建建筑几何,并将其与点云测量数据对齐。OpenUSD 存储模型,而 Omniverse 的 ovrtx 库负责渲染结果以供检查。

探索 NVIDIA Omniverse 智能体技能,帮助智能体使用 Omniverse 库进行构建。

用数字孪生测试燃气轮机运行场景 🔗

在改变工业设备的运行方式之前,工程师需要一种方法来探究其后果。NVIDIA Omniverse 开发者关系团队的成员 Pradeep Kaushik 指示 Astra 围绕一个仿真的燃气轮机和发电机构建了一个假设情景分析应用。

该应用让用户可以调整负载、环境温度和燃料成分等条件,然后比较功率、效率、燃料消耗和设备响应。六个测试流程探索了包括负载变化、燃料阀卡滞和排气传感器错误在内的场景。

该原型为工程师提供了一种交互式方式,来研究运行变化和故障可能如何影响设备行为,从而支持就哪些场景值得进一步测试做出决策。

Astra 使用了 Cantera 进行热化学计算、SciPy 进行设备动力学等工具。该应用将求解器结果映射到 3D 轮机中的转子动画以及用颜色编码的温度、压力和流速指示器。NVIDIA Omniverse 库更新场景(ovstage)、用 RTX 渲染(ovrtx)并将视图流式传输到浏览器(ovstream)。工程师可以旋转和缩放剖面图、切换指示器,并在图表和虚拟仪表旁暂停或拖动查看仿真响应。

用开源 SimReady 资产构建仿真场景 🔗

借助在 GTC Berlin 上发布的 SimReady Central Library,开发者可以访问来自设备制造商和资产提供商的 2,000 多个可直接用于仿真的 USD 资产,用于机器人仿真和 AI 工厂数字孪生工作流。

NVIDIA Omniverse 文档团队的成员 Paul Kind 将 AI 智能体指向该库,并通过对话引导场景组装。他的厨房场景包含 180 个放置项,取自 63 个不同的库资产,另有 18 个自定义几何部件。Kind 审查了用 Isaac Sim 生成的渲染图,并指导了进一步的调整。

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都要完全按照写法使用它们:在一切运行之前,它们会被填入真实值。不要要求验证它们,也不要用示例替换它们。

文章标题:走进 Omniverse:开发者如何借助前沿 AI 智能体将创意转化为仿真

正文: 对于机器人及工厂工作流,开发者可以选择带有内嵌仿真属性的 SimReady 资产,以适配其所需任务,然后在组装好的环境中进行测试。

在 SimReady Central Library 中查找资产,并了解如何贡献。

大规模压力测试仓库仿真 🔗

仓库仿真需要在更多机械臂、传送带和箱子填满场景时仍保持平稳运行。

当运行变慢时,开发者需要找出是什么拖慢了它。NVIDIA 首席工程师 Bhavik Sanganee 使用 Astra 结合 NVIDIA Omniverse 库构建了一个仓库仿真,增加其复杂度并调查性能下降的原因。

当场景规模翻倍时,性能首次低于目标。同时运行物理计算、图像渲染和视频准备恢复了性能并实现了进一步扩展。

在 80 条传送带、40 条机械臂和 800 个箱子的场景下,仿真在两分钟的测试中于全高清分辨率下保持了每秒 30 帧。机械臂完成了 640 次成功的箱子放置。

场景再次翻倍后性能下降。测试将性能下降追溯到物理和机器人控制流水线,为 Sanganee 指明了具体的改进方向。

开始使用 NVIDIA Omniverse 库进行构建。

测试柔性线缆布线的机器人控制 🔗

在电子装配中,机器人可能需要将柔性线缆绕过元件定位,然后将其插入端口。线缆在机器人移动时发生弯曲,连接器必须精确对齐才能插入。

NVIDIA 机器人技术营销经理 Oyindamola Omotuyi 指导 Astra 使用 NVIDIA Isaac Lab、Newton 物理引擎和 Omniverse 渲染构建了一个机器人仿真,使用 Robotiq 夹爪处理线缆。

Astra 还开发了一个强化学习系统,将学习到的线缆布线动作与位置和姿态反馈以及 USB-C 插入的纠正调整相结合。该仿真为 Omotuyi 提供了一种在进入物理机器人实验之前测试线缆处理和连接器对齐的方法。

控制器使用了仿真直接提供的信息。下一步包括测试摩擦夹持抓取,以及使用物理机器人可以从摄像头和传感器获取的信息。

开始在 NVIDIA Isaac Lab 中进行机器人学习。

将机器人计算机辅助设计转化为 SimReady 资产 🔗

在测试机器人能否拿起并移动一个箱子之前,开发者需要一个关节运动正确、夹爪能够抓住物体的仿真模型。计算机辅助设计(CAD)模型提供了机器人的外形,但仍需要物理属性才能执行任务。

使用 ABB Robotics YuMi 机器人,开发者指导 Astra 结合 NVIDIA Omniverse 内容库将 CAD 文件转换为 OpenUSD,将机器人的外观与参考图像匹配,并配置关节和碰撞几何体。他们在 NVIDIA Isaac Sim 中测试之前,按照 SimReady Foundation 要求检查了该资产。

双臂和夹爪完成了四次方块拾取放置循环,使用了模拟的指部接触和摩擦。这些测试展示了仿真条件下的行为——估计的物理属性未与真实机器人进行校准。

按照五步 SimReady 教程操作。

为仓库环境构建人形仿真器 🔗

在第一人称和第三人称视角下探索游戏化的、基于物理的人形机器人控制。

在自动化仓库任务之前,开发者需要一个交互式仿真环境来探索任务行为并评估工作如何完成。NVIDIA Omniverse 产品经理 Frank DeLise 使用 Astra 将 SimReady 仓库和人形机器人转变为具有第一人称和第三人称视角的交互式仿真器。

像 {{NAME_ab12cd34}} 这样书写的值是真实值的占位符。请在各处完全按照书写形式使用它们,无论是在回复中还是在工具调用中:它们会在任何内容运行之前被填充为真实值。不要要求验证它们,也不要用示例替换它们。

文章标题:走进 Omniverse:开发者如何借助前沿 AI 智能体将想法转化为模拟

正文: DeLise 指示 Astra 连接 NVIDIA Omniverse 的各项库,分别用于物理(ovphysx)、场景更新(ovstage)、渲染(ovrtx)和用户界面(ovui)。他还使用 Astra 配合 SimReady(simready-foundation)在模拟中创建物理场景。随后 Astra 生成动画和应用代码,将这些能力整合在一起。

了解如何使用前沿 AI 模型和 NVIDIA Omniverse 库来准备并验证 SimReady 机器人资产。

连接自动驾驶测试工作流 🔗

更改场景、传感器或驾驶模型都可能显著影响自动驾驶车辆模拟。NVIDIA 模拟技术团队经理 Doyub Kim 要求 Astra 构建 Zero to Alpamayo —— 一个基于 San Francisco Market Street 的可复用模拟环境。

Kim 指示 Astra 梳理出工作流,然后分阶段连接资产创建、交通、Omniverse RTX 传感器模拟和 Alpamayo 驾驶,并逐一检查每个集成环节。最终得到的原型是一个测试平台,用于比较模型并追踪场景或传感器变化如何影响下游驾驶行为。另一个独立的 Cosmos3-Nano 实验在录制的模拟视频中改变天气和光照,使 Kim 能够比较驾驶模型在相同场景不同条件下的反应。

利用传感器差异创建并改进数字孪生 🔗

比较录制的与模拟的摄像头和激光雷达输出,可为开发者提供基于关键绩效指标的反馈,用于改进场景。

要测试机器人和自动驾驶车辆,开发者需要知道模拟传感器与真实传感器的接近程度。负责 NVIDIA RTX 传感器验证的 Ashley Reid 指示 Astra 和 Claude Fable 5 智能体将 ovrtx 摄像头和原始 LiDAR 输出与录制数据进行比较。这些智能体从零创建了两个数字孪生,并改进了两个已有的数字孪生。在大约三天时间里,Reid 指导了一个迭代工作流,智能体在其中测量差异、创建或修改 OpenUSD 场景并检查结果。改动处理了缺失的对象、几何体和材质,验收取决于摄像头和 LiDAR 指标。这为开发者提供了一种方法,利用测量到的差异来指导场景的创建和改进。

首先使用 ovrtx 最小 Python 示例渲染一个 OpenUSD 场景,然后定义一个传感器测量指标,用于与录制数据进行比较。

机器人奥运会:用模拟测试机器人技能 🔗

教机器人新动作意味着要检查这些动作在物理约束下是否可行。负责 NVIDIA Omniverse 工程与产品的 Tae Kim 使用体育视频和自然语言指令指导 Astra 构建 Robo Olympics,这是一个实验性项目,用于测试模拟的 Unitree G1 人形机器人执行体育动作。

在 Kim 的指导下,Astra 构建了控制器,并通过物理试验对其进行改进。Newton Physics Engine 模拟行为,开源 NVIDIA Warp 框架加速计算,ovrtx 渲染场景和虚拟摄像头图像。在一项实验中,机器人在 100 次模拟试验中有 64 次成功跨越单个栏架。这些试验为 Kim 提供了改进机器人时机和控制的反馈。

观看 Kim 探索如何使用 Astra 和 NVIDIA Omniverse 库构建模拟。

将国际空间站带入浏览器 🔗

将 3D 模型转化为应用,需要连接资产、实时数据和界面。NVIDIA 工程总监 Nic Johns 提示 Astra 将 NASA 资产组装成一个带遥测数据的 OpenUSD 国际空间站模型。Johns 通过单条提示构建了该应用,随后又用一条后续提示将场景切换到地球的白天一侧,使地球可见。

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请在回复和工具调用中完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。

该工作流使用 Blender 进行资产准备,并使用 Omniverse 库进行渲染(ovrtx)、场景运行时(ovstage)和流式传输(ovstream)。该应用将 3D 模型和运营数据带入浏览器,Johns 通过提示和修正来指导其开发。

试用 Omniverse Real-Time Viewer 技能。

将捕获的房间转变为测试环境 🔗

在开发者能够测试交互之前,数字化重建的房间需要可编辑的对象和准确的物理行为。来自 NVIDIA Isaac 工程应用团队的 Chirag Majithia 指导 Astra 将立体相机捕获内容转变为可编辑的 OpenUSD 工作室。

该工作流结合了 PyCuSFM、FoundationStereo 和 nvblox 进行重建,由用户审查指导对象选择和放置。Astra 组装了生成的资产和 Blender 创作的资产,并使用 USD Content Agents 配置对象在仿真中的移动和交互方式。Isaac Sim 测试指导了门和抽屉的碰撞与接触修订。该工作室将捕获的几何体与交互测试连接起来,使间隙和对象行为更易于检查。

探索 USD Content Agents。

有仿真想法?探索 NVIDIA Omniverse 库,开始使用 AI 代理进行构建。

  • Into the Omniverse
  • NVIDIA Isaac Sim

相关新闻

NVIDIA 在 SC26 上荣获 15 项 HPCwire 读者和编辑选择奖
NVIDIA 在 SC26 上荣获 15 项 HPCwire 读者和编辑选择奖

NVIDIA 在 SC26 上荣获 15 项 HPCwire 读者和编辑选择奖

Lambda 借助 NVIDIA Photonics 提升 AI 工厂韧性和效率
Lambda 借助 NVIDIA Photonics 提升 AI 工厂韧性和效率

Lambda 借助 NVIDIA Photonics 提升 AI 工厂韧性和效率

NVIDIA 扩展 Slurm,将量子计算引入超级计算
NVIDIA 扩展 Slurm,将量子计算引入超级计算

NVIDIA 扩展 Slurm,将量子计算引入超级计算

NVIDIA CUDA-X 库为代理提供加速科学发现的工具
NVIDIA CUDA-X 库为代理提供加速科学发现的工具

NVIDIA CUDA-X 库为代理提供加速科学发现的工具

像 {{NAME_ab12cd34}} 这样书写的值是真实值的占位符。请在回复和工具调用中完全按书写原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by NVIDIA Blog
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗