NVIDIA AI 发布 Nemotron-Labs-Sigma:一个在 3B/8B 规模下包含 14 个检查点的连续扩散语言模型
NVIDIA 发布了 Nemotron-Labs-Sigma,这是一组包含 3B 和 8B 规模的 14 个开放检查点。Nemotron-Labs-Sigma 是一个连续扩散语言模型系列,在 16 维嵌入空间中对文本去噪。大多数扩散 LLM,例如 LLaDA 和 Dream,都基于离散 token 工作。Sigma 则在平滑的潜在空间中工作。NVIDIA 团队表示,这使少步蒸馏和轨迹引导对文本而言变得
NVIDIA AI 发布 Nemotron-Labs-Sigma:一款连续扩散语言模型,提供 3B/8B 共 14 个检查点
distill-spec 检查点增加了自推测解码。扩散头起草一个 32 个 token 的块,模型自身的 AR 头负责验证。输出与贪心 AR 解码完全一致。在 1 台 GB200 上使用 SGLang,8B spec 模型平均比 AR 解码快 3.46 倍。NLD-8B 在相同配置下达到 3.04 倍。峰值加速在 8B 上达到 4.20 倍,在 3B 上达到 3.18 倍。
如何部署 Nemotron-Labs-Sigma?
全部 14 个检查点均以 NVIDIA Nemotron Open Model License 发布于 Hugging Face。模型卡声明这些模型已可用于商业用途。你需要一块支持 bfloat16 的 CUDA GPU:Ampere、Lovelace、Hopper 或 Blackwell。不支持 CPU 推理。
加载需要 PyTorch 2.4+、Transformers 4.55+ 以及 trust_remote_code。在 1 块 H100 上,基础模型生成速度约为 120 到 140 tokens/s。蒸馏版模型卡列出了 vLLM、SGLang 和 Docker Model Runner 用于服务部署。NVIDIA 不托管任何 API。
Sigma 与其他 8B 扩散模型和 AR 模型相比如何?
基准测试行采用 NVIDIA 在 Sigma 论文中的评测结果(表 2 为基础模型,表 5 为 instruct 模型)。规格来自各模型自己的模型卡。
| 特性 | Sigma-8B | NLD-8B | Dream-7B | LLaDA-8B | Qwen3-8B |
|---|---|---|---|---|---|
| 生成方式 | 连续扩散(16 维) | 离散扩散、AR、自推测 | 离散扩散 | 离散扩散 | 自回归 |
| 参数量 | 8B | 8B | 7B(模型卡标注 8B) | 8B | 8.2B |
| 上下文 | 4,096(instruct 8,192) | 未披露 | 未披露 | 未披露 | 32,768(131,072 YaRN) |
| 许可证 | NVIDIA Nemotron Open Model | NVIDIA Nemotron Open Model | Apache 2.0 | MIT | Apache 2.0 |
| 硬件 | NVIDIA GPU,bf16,无 CPU | NVIDIA GPU(已测试 DGX Spark、GB200) | 未披露 | 未披露 | 未披露 |
| 基础 6 任务平均 | 71.16 | 70.22 | 58.74 | 41.78 | 68.91(AR) |
| GSM8K | 88.57 | 87.26 | 77.18 | 70.96 | 86.73 |
| HumanEval | 65.12 | 62.80 | 54.88 | 32.32 | 64.63 |
| MBPP | 65.74 | 67.00 | 56.80 | 40.80 | 69.40 |
| Instruct 10 任务平均 | 59.14 | 59.92 | 40.54 | 37.24 | 未披露 |
| 可用性 | 开放权重,HF | 开放权重,HF | 开放权重,HF | 开放权重,HF | 开放权重,HF |
关键要点
- Sigma 将语言扩散移入学习到的 16 维连续嵌入空间。
- 14 个开放检查点:3B 和 8B 的基础、instruct、蒸馏和推测版本。
- Sigma-8B 基础版平均 71.16,领先于 NLD-8B 的 70.22。
- 自推测 8B 平均解码速度比 AR 快 3.46 倍。
- 弱点:AIME25 上为 17.00,基础上下文 4,096 token,仅支持 GPU。
查看论文、模型合集和项目页面。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此处查看部署选项和规格。
另外,欢迎在 Twitter 上关注我们,别忘了加入我们 15 万+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在用 Telegram 吗?现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名有远见的企业家和工程师,Asif 致力于利用人工智能的潜力造福社会。他最近的成就是推出了人工智能媒体平台 Marktechpost,该平台以对机器学习和深度学习新闻的深度报道而著称,既技术严谨又易于广大受众理解。该平台月浏览量超过 200 万,彰显了其在受众中的受欢迎程度。
- Asif Razzaq2026 年面向 MCP、A2A 和 LLM 流量的 13 个最佳 Agent Gateway:Kong、Bifrost、AgentCore、Arcade
- Asif Razzaq不是是否会发生,而是如何应对:AI 攻击者时代的安全事件响应
- Asif RazzaqGoogle DeepMind 发布 Gemini 4 Neon:100 万上下文,AA Coding Agent Index 排名第一
NVIDIA AI 发布 Nemotron-Labs-Sigma:一个带有 14 个 3B/8B 检查点的连续扩散语言模型
- Asif RazzaqNutrient Data Extraction API:JSON 与你的 Schema 匹配,并附逐字段引用和置信度