Newshot

NVIDIA 发布 Alpamayo 2 Edge:面向 DRIVE Thor 的 2B 推理 VLA

AI summary

NVIDIA 发布 Alpamayo 2 Edge,这是一款面向自动驾驶的紧凑型推理视觉-语言-动作(VLA)模型。该 2B 参数模型可在车内规划轨迹并解释其决策,目标平台为 NVIDIA DRIVE AGX Thor,而非数据中心 GPU。其目标是在车载算力与延迟预算内实现基于推理的规划。

Translation(model translation, not the source's own text)

NVIDIA 发布 Alpamayo 2 Edge:一款面向 DRIVE Thor 的 2B 推理 VLA

NVIDIA 发布了 Alpamayo 2 Edge,这是一款面向自动驾驶的紧凑型推理视觉-语言-动作(VLA)模型。Alpamayo 2 Edge 是一个 2B 参数模型,可在车内规划轨迹并对其做出解释。它的目标平台是 NVIDIA DRIVE AGX Thor,而非数据中心 GPU。目标:在车载计算与延迟预算内实现基于推理的规划。

TL;DR

  • 规模:2B 级别。模型卡明细:2.45B 主干 + 0.2B 动作专家(HF 元数据显示为 3B)。上下文长度:未披露(实测提示词:3,236 个 token)。
  • 运行平台:NVIDIA DRIVE AGX Thor,采用 FP8 + TensorRT Edge-LLM 方案。BF16 PyTorch 需要 16 GB+ GPU 显存,已在 1 块 H100 80GB 上验证。
  • 性能:就其规模而言是强劲的闭环驾驶模型;在推理问答上处于中游。
  • 最佳表现:在 AlpaSim 中每次有责事故间隔 15.15 km,约为 Qwen-Drive-1.0 4B(0.25 km)的 60 倍。
  • 最差表现:nuReasoning 数值得分为 48.67;LingoQA 75.2,落后于 Alpamayo 2 Super(79.2)。
  • 结论:最佳:在车载硬件上以 160 至 190 ms 实现基于推理的规划。最差:仅在 H100 上验证,且 Thor 上的实时速度需要 FP8 方案。

什么是 Alpamayo 2 Edge?

Alpamayo 2 Edge 是一个开放的 NVIDIA VLA 模型,可将环视摄像头视频转化为 6.4 秒的规划。它是 Alpamayo 家族中的车载成员,与 34B 云端模型 Alpamayo 2 Super 并列。

根据模型卡,2.45B 主干将 1.96B 语言模型与 0.41B SigLIP2 编码器配对。其上叠加了一个 0.2B 扩散动作专家。主干来自 NVIDIA Cosmos 3 Edge,基于 Nemotron。NVIDIA 将该模型宣传为 2B,而 Hugging Face 元数据显示为 3B。

输入什么,输出什么?

对于轨迹预测,模型每次观测读取 6 个摄像头和 22 帧。2 个前摄像头各提供 5 帧,其余 4 个各提供 3 帧。它还接收一条导航指令和 20 个历史自车位姿。

输出为 0.1 至 6.4 秒的 64 个路点。动作专家预测加速度和曲率,然后由独轮车模型进行积分。文本输出是一条因果链(CoC)推理轨迹。该模型还能回答关于驾驶场景的自由形式问题。

自适应推理如何工作?

在常规驾驶过程中,模型输出特殊的 <NOMINAL> token,而不是完整的推理轨迹。它仅在场景需要时写入 CoC 推理。更少的 token 意味着每个规划步骤的计算量更少。

Alpamayo 2 Edge 是如何训练的?

NVIDIA 团队列出了以下要素:

  • 从 Alpamayo 2 Super 生成的 CoC 自动标签进行离线蒸馏。
  • 约 115,000 小时的多摄像头驾驶视频和约 3.7M 条 CoC 轨迹。
  • 在 AlpaGym 中进行闭环 RL 后训练,从仿真中自身的动作学习。
  • 多分辨率输入,以更低的成本编码环视图。

它在 DRIVE AGX Thor 上运行多快?

Hugging Face 权重以 BF16 发布,并作为 PyTorch 模型运行。在 Thor 上实时使用需要 Alpamayo Developer Hub 方案。它会准备检查点和 DFlash2 草稿模型,然后校准 FP8 缩放。接下来导出 ONNX 图,并使用 TensorRT Edge-LLM 插件构建 TensorRT 引擎。

NVIDIA 报告称,像素到轨迹的延迟为 160 ms 至 190 ms,具体取决于模型推理的量。参考配置为 DRIVE AGX Thor-X,搭载 DRIVE OS 7.2.7.0、CUDA 13.4 和 TensorRT 11.3.1.9。在 NVIDIA 的演示视频中,PyTorch BF16 以 0.76 Hz 规划。优化后的 FP8 Thor 流水线在 AlpaSim 中以 13.02 Hz 规划。合作伙伴 Embedl 表示其在 AGX Thor 上不到 48 小时就达到了 10 Hz。

在工作站 GPU 上,模型卡建议至少 16 GB 显存。NVIDIA 在 1 块 H100 上以 6 个轨迹候选测得峰值进程内存为 12.06 GiB。其他 GPU 架构尚未验证。

Alpamayo 2 Edge 在基准测试中得分如何?

NVIDIA 将 Edge 与阿里巴巴的 4B Qwen-Drive-1.0 进行比较。在 AlpaSim 闭环驾驶中,Edge 在有责事故间隔内覆盖 15.15 km,而后者为 0.25 km。约为 60 倍。开环 minADE 为 0.53 m 对 1.68 m。两者均为 NVIDIA 自己的运行结果。

模型卡补充道:

文章标题:NVIDIA 发布 Alpamayo 2 Edge:面向 DRIVE Thor 的 2B 推理 VLA

正文:

  • AlpaSim:在 875 个 NuRec 场景、3 次 rollout 下,每起有责事故对应 15.15 ± 0.04 km。
  • 开放环路 5 s 的 minADE_6:在 1,392 个 PhysicalAI-AV 样本上为 0.52 m。
  • LingoQA(Lingo-Judge):75.2。
  • SURDS:86.50,KITScenes 场景:89.46,nuReasoning 数值:48.67。

Alpamayo 2 Edge 与其他驾驶 VLA 相比如何?

FeatureAlpamayo 2 EdgeAlpamayo 2 SuperAlpamayo 1.5Qwen-Drive-1.0-4B
机构NVIDIANVIDIANVIDIAAlibaba Qwen
总参数宣传为 2B;2.45B 主干 + 0.2B 动作专家( card )34B:32B 主干 + 2B 动作专家( blog )10B( NGC )基于 Qwen3.5-4B 的 4B 共享 VLM( card )
目标硬件车载,DRIVE AGX Thor( blog )云端,教师模型( NVIDIA )云端,1 块 GPU 24 GB+( NGC )未披露
最低 GPU 显存(BF16)建议 16 GB( card )未披露24 GB+( NGC )未披露
轨迹时域6.4 s,64 个路点( card )未披露未披露5 s,10 Hz 下 50 个点( card )
自适应推理是,<NOMINAL> token( blog )未披露未披露未披露
LingoQA(Lingo-Judge)75.2( card )79.2( blog )74.2( NVIDIA )79.4 SFT,自报( card )
闭环(AlpaSim)每起有责事故 15.15 km( card )AlpaSim Score 1.50 ± 0.13( blog )AlpaSim Score 1.37 ± 0.10( blog )NVIDIA 运行中每起事故 0.25 km( blog );自身 card:有责分数 0.37(RL)
权重许可OpenMDW-1.1OpenMDW-1.1OpenMDW-1.1Apache 2.0
发布日期2026 年 11 月 10 日权重 2026 年 8 月 4 日2026 年 3 月 19 日论文 2026 年 8 月 31 日( arXiv )

AlpaSim 指标在不同来源之间不一致(每起事故 km vs AlpaSim Score vs 有责分数),因此只能在同一行的相同指标内比较。

它还发布了什么?

NVIDIA 还发布了 AlpaJudge,一个经过人工校准的推理轨迹评判器。它对轨迹打分、过滤训练数据并提供 RL 奖励。作为 RL 奖励,它将推理质量提升了 10.2%(judge)和 11.4%(human)。

可用性与许可

权重使用 OpenMDW-1.1 许可,代码使用 Apache 2.0。推理代码在 GitHub 上。该模型支持微调。

关键要点

  • 2B 级推理 VLA,为在车内 DRIVE AGX Thor 上运行而构建。
  • 自适应推理:<NOMINAL> token 在常规驾驶中跳过 CoC 轨迹。
  • 使用 FP8 TensorRT 方案时,像素到轨迹延迟为 160 ms 到 190 ms。
  • 在 AlpaSim 中每起有责事故 15.15 km,约为 Qwen-Drive-1.0 4B 的 60 倍。
  • 弱点:LingoQA 75.2,落后于 Alpamayo 2 Super 和 Qwen-Drive-1.0。

查看模型卡、技术博客和 GitHub 仓库。你可以通过我们的 GPULeaderboard.com chrome 扩展在此查看部署选项和规格。

另外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名有远见的企业家和工程师,Asif 致力于利用人工智能的潜力造福社会。他最近的尝试是推出人工智能媒体平台 Marktechpost,该平台以深入报道机器学习和深度学习新闻而著称,内容既技术可靠又易于广大受众理解。该平台月浏览量超过 200 万,显示了其在受众中的受欢迎程度。

  • Asif Razzaq2026 年最佳个人 AI Agent:OpenClaw、Hermes Agent、Gemini Spark 等,在记忆、安全性和成本方面的比较
  • Asif Razzaq认识 Thinking Machines Inkling 2 Mini:26B 循环 MoE 可在 32GB Mac 上运行
  • Asif RazzaqBaseten 发布 Bison-1 和 Groundhog-1,登顶决策模型指数
  • Asif RazzaqRadixArk 发布 DaisyRose-27B,一款仅用强化学习训练的 27B 智能体编程模型

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by MarkTechPost
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗