Newshot

NVIDIA AI 发布 Nemotron-Labs-Sigma:3B/8B 共 14 个 checkpoint 的连续扩散语言模型

AI summary

NVIDIA 发布 Nemotron-Labs-Sigma,包含 3B 和 8B 规模的 14 个开放 checkpoint。该模型家族是连续扩散语言模型,在 16 维嵌入空间中对文本去噪;与 LLaDA、Dream 等基于离散 token 的扩散 LLM 不同,NVIDIA 团队称这使文本的少步蒸馏与轨迹引导变得实用。Sigma-8B base 在 NVIDIA 的 6 项任务套件上平均得分 71.16,高于 NLD-8B 的 70.22;8 步蒸馏的 8B 模型保持 70.34 的平均分。

Translation(model translation, not the source's own text)

NVIDIA AI 发布 Nemotron-Labs-Sigma:一个在 3B/8B 规模下包含 14 个检查点的连续扩散语言模型

NVIDIA 发布了 Nemotron-Labs-Sigma,这是一组包含 3B 和 8B 规模的 14 个开放检查点。Nemotron-Labs-Sigma 是一个连续扩散语言模型系列,在 16 维嵌入空间中对文本去噪。大多数扩散 LLM,例如 LLaDA 和 Dream,都基于离散 token 工作。Sigma 则在平滑的潜在空间中工作。NVIDIA 团队表示,这使少步蒸馏和轨迹引导对文本而言变得

NVIDIA AI 发布 Nemotron-Labs-Sigma:一款连续扩散语言模型,提供 3B/8B 共 14 个检查点

distill-spec 检查点增加了自推测解码。扩散头起草一个 32 个 token 的块,模型自身的 AR 头负责验证。输出与贪心 AR 解码完全一致。在 1 台 GB200 上使用 SGLang,8B spec 模型平均比 AR 解码快 3.46 倍。NLD-8B 在相同配置下达到 3.04 倍。峰值加速在 8B 上达到 4.20 倍,在 3B 上达到 3.18 倍。

如何部署 Nemotron-Labs-Sigma?

全部 14 个检查点均以 NVIDIA Nemotron Open Model License 发布于 Hugging Face。模型卡声明这些模型已可用于商业用途。你需要一块支持 bfloat16 的 CUDA GPU:Ampere、Lovelace、Hopper 或 Blackwell。不支持 CPU 推理。

加载需要 PyTorch 2.4+、Transformers 4.55+ 以及 trust_remote_code。在 1 块 H100 上,基础模型生成速度约为 120 到 140 tokens/s。蒸馏版模型卡列出了 vLLM、SGLang 和 Docker Model Runner 用于服务部署。NVIDIA 不托管任何 API。

Sigma 与其他 8B 扩散模型和 AR 模型相比如何?

基准测试行采用 NVIDIA 在 Sigma 论文中的评测结果(表 2 为基础模型,表 5 为 instruct 模型)。规格来自各模型自己的模型卡。

特性Sigma-8BNLD-8BDream-7BLLaDA-8BQwen3-8B
生成方式连续扩散(16 维)离散扩散、AR、自推测离散扩散离散扩散自回归
参数量8B8B7B(模型卡标注 8B)8B8.2B
上下文4,096(instruct 8,192)未披露未披露未披露32,768(131,072 YaRN)
许可证NVIDIA Nemotron Open ModelNVIDIA Nemotron Open ModelApache 2.0MITApache 2.0
硬件NVIDIA GPU,bf16,无 CPUNVIDIA GPU(已测试 DGX Spark、GB200)未披露未披露未披露
基础 6 任务平均71.1670.2258.7441.7868.91(AR)
GSM8K88.5787.2677.1870.9686.73
HumanEval65.1262.8054.8832.3264.63
MBPP65.7467.0056.8040.8069.40
Instruct 10 任务平均59.1459.9240.5437.24未披露
可用性开放权重,HF开放权重,HF开放权重,HF开放权重,HF开放权重,HF

关键要点

  • Sigma 将语言扩散移入学习到的 16 维连续嵌入空间。
  • 14 个开放检查点:3B 和 8B 的基础、instruct、蒸馏和推测版本。
  • Sigma-8B 基础版平均 71.16,领先于 NLD-8B 的 70.22。
  • 自推测 8B 平均解码速度比 AR 快 3.46 倍。
  • 弱点:AIME25 上为 17.00,基础上下文 4,096 token,仅支持 GPU。

查看论文、模型合集和项目页面。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此处查看部署选项和规格。

另外,欢迎在 Twitter 上关注我们,别忘了加入我们 15 万+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在用 Telegram 吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名有远见的企业家和工程师,Asif 致力于利用人工智能的潜力造福社会。他最近的成就是推出了人工智能媒体平台 Marktechpost,该平台以对机器学习和深度学习新闻的深度报道而著称,既技术严谨又易于广大受众理解。该平台月浏览量超过 200 万,彰显了其在受众中的受欢迎程度。

  • Asif Razzaq2026 年面向 MCP、A2A 和 LLM 流量的 13 个最佳 Agent Gateway:Kong、Bifrost、AgentCore、Arcade
  • Asif Razzaq不是是否会发生,而是如何应对:AI 攻击者时代的安全事件响应
  • Asif RazzaqGoogle DeepMind 发布 Gemini 4 Neon:100 万上下文,AA Coding Agent Index 排名第一

NVIDIA AI 发布 Nemotron-Labs-Sigma:一个带有 14 个 3B/8B 检查点的连续扩散语言模型

  • Asif RazzaqNutrient Data Extraction API:JSON 与你的 Schema 匹配,并附逐字段引用和置信度

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by MarkTechPost
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗