Newshot

认识 Thinking Machines Inkling 2 Mini:26B 循环 MoE 可在 32GB Mac 上运行

AI summary

Thinking Machines Lab 发布了 Inkling 2 Mini,这是一个开放权重的循环式 transformer,总参数量 26.4B。该模型对每个 token 将中间层复用 3 次,而不是增加更多权重,使检查点保持在约 20GB,小到足以在 32GB Mac 或单块 NVIDIA DGX Spark 上运行。Inkling 2 Mini 是面向智能体编程、工具调用和文档工作的本地选项,以 Apache 2.0 协议在 Hugging Face 上发布,并在 Tinker 上提供托管推理和微调。

Translation(model translation, not the source's own text)

文章标题:认识 Thinking Machines Inkling 2 Mini:26B 循环 MoE 可在 32GB Mac 上运行

正文: Thinking Machines Lab 发布了 Inkling 2 Mini,这是一个开放权重的循环式 transformer,总参数为 26.4B。该模型每个 token 复用其中间层 3 次,而不是增加更多权重。这使得 checkpoint 保持在接近 20GB,小到足以在 32GB Mac 或 1 台 NVIDIA DGX Spark 上运行。对开发者而言,Inkling 2 Mini 是用于智能体编程、工具使用和文档工作的本地选项。它以 Apache 2.0 许可在 Hugging Face 上发布,并在 Tinker 上提供托管推理和微调。

简要总结

  • 规模:总计 26.4B,激活 3.4B(循环后每 token 有效 5.4B),上下文最高 1M token。
  • 运行于:内存 32GB+ 的 Apple silicon、1 台 NVIDIA DGX Spark,或显存 32GB+ 的 GPU。通过 Unsloth 和 llama.cpp 提供 GGUF 构建。
  • 性能:Artificial Analysis Index 得分 20.1,与 Qwen3.8-27B 持平(自报数据)。
  • 最佳:SWE-bench Verified(仅 bash)79.2%。
  • 最差:HLE-Diamond 15.2%,MultiChallenge 50.0%。
  • 结论:最佳:来自 20GB checkpoint 的强大智能体编程能力。最差:知识回忆和多轮指令遵循较弱。

什么是 Inkling 2 Mini?

Inkling 2 Mini 是 Thinking Machines 推出的稀疏 Mixture-of-Experts 模型,其中间层会循环。它接受文本和图像输入,仅返回文本。

它紧随 11 月 5 日发布的 594B 参数模型 Inkling 2 Small。

循环式 transformer 如何工作?

该模型存储 24 层,分为 4 个块,每块 6 层。第一个和最后一个块运行一次。中间 2 个块以共享权重运行 3 次。这样,24 层权重每 token 产生 48 次层应用。

第一次之后的每次传递都会接收来自上一次传递的“消息”。Thinking Machines 通过 Attention Residuals 和一个学习到的门控来传递它。前馈层使用 128 个专家,每个 token 路由 8 个。

循环中间层带来了 1.51x 到 1.91x 的算力等效增益。循环最后几层只带来 1.24x 到 1.36x。中间循环变体在 28 项评估中胜出 27 项。

循环会消耗训练算力,但节省推理算力。一个非循环基线使用的训练算力少 7.5%。要在 512k token 的智能体轨迹上匹配循环模型的 loss,它需要多 140% 的推理算力。

Inkling 2 Mini 是如何训练的?

训练开始时每层有 384 个专家,每个 token 激活 8 个。在 midtraining 阶段,团队剪掉了其中三分之二,保留最常用的 128 个专家。随后,从更大的内部 Inkling 模型进行 1T token 的蒸馏运行,修复了剪枝后的模型。后训练先使用 SFT,然后在 2.2T token 和 2,000 步上进行 RL,外加 on-policy distillation。

专家层以 NVFP4 训练和部署。最后 4 层使用 MXFP8。Thinking Machines 表示这消除了量化转换损失。一个研究变体 TML-d24-varloop-research 使用 1 到 5 次传递进行训练。

Inkling 2 Mini 在基准测试中表现如何?

以下所有 Inkling 分数均为 Thinking Machines 自报。编程是最强的领域。Inkling 2 Mini 在 SWE-bench Verified(仅 bash)上得分 79.2%,在 SWE-bench Pro v2(Hard)上得分 77.9%。它在 DeepSWE v1.1 上达到 48.2%,而 Qwen 自己的模型卡列出 Qwen3.8-27B 为 42.2%。在 Terminal Bench v2.1 上它得分 71.6%,落后于 Qwen3.8-27B 的 73.0%。

智能体搜索同样表现稳健:带 compaction 的 BrowseComp 上为 79.0%,MCP Atlas 上为 82.7%。在文档和视觉方面,它在 OmniDocBench v1.6 上取得 92.8%,在 MMMU Pro 上取得 74.9%。在推理方面,它在 GPQA Diamond 上得分 86.6%,在 ARC-AGI-2 上得分 49.3%。

效率是核心卖点。在 Stanford 的 Intelligence per Watt 指标上,Thinking Machines 报告在 DGX Spark 上为 0.703。它列出 Qwen3.6-35B-A3B 为 0.430,Gemma-4-26B-A4B 为 0.159。

Inkling 2 Mini 与 Qwen 和 Gemma 相比如何?

特性Inkling 2 Mini ( card )Qwen3.8-27B ( card )Qwen3.6-35B-A3B ( card )Gemma 4 26B A4B ( card )
架构Looped MoEDenseMoEMoE
总参数26.4B27B35B25.2B
激活参数3.4B(等效 5.4B)27B (dense)3B3.8B
上下文最高 1M原生 262,144,最高 1M原生 262,144,最高 1,010,000256K
许可协议Apache 2.0Apache 2.0Apache 2.0Apache 2.0
输入文本、图像文本、图像、视频文本、图像文本、图像
列出的硬件约 20GB;32GB Mac 或 DGX Spark未披露未披露未披露
GPQA Diamond86.6%89.286.082.3%
Terminal Bench 2.171.6%73.0未报告未报告
SWE-bench Verified79.2%(仅 bash)未报告73.4未报告
DeepSWE 1.148.2%42.2未报告未报告
托管访问TinkerQwen Cloud未披露未披露

每一列均使用厂商自家的模型卡。评测框架和设置各不相同,因此跨厂商的差距只能作为方向性参考。

运行 Inkling 2 Mini 需要什么硬件?

该 checkpoint 的 Safetensors 文件约 20GB。Thinking Machines 列出了 3 种支持的配置:1 台 NVIDIA DGX Spark、32GB+ 内存的 Apple silicon,以及 32GB+ VRAM 的其他 GPU。量化 GGUF 版本可通过 Unsloth 和 llama.cpp 获取。

服务支持覆盖 Transformers、vLLM、SGLang、Ollama、NVIDIA Dynamo 和 TokenSpeed。发布材料中未披露 Mini 的 Tinker 定价。

vLLM 快速开始只需 1 条命令:vllm serve "thinkingmachines/Inkling-2-Mini"。

Inkling 2 Mini 的短板在哪里?

知识主要取决于总参数,而循环并未在知识类基准上带来帮助。Inkling 2 Mini 在 AA-Omniscience 上得分为 -8.6,非幻觉率为 63.4%。

在多轮对话或约束密集型提示词方面,它并非最佳的小模型。它在 MultiChallenge 上得分为 50.0%,在 ComplexConstraints v1.1 上为 33.4%。在 HLE-Diamond(15.2%)和 CritPt v2 上,它也落后于更大的模型。

核心要点

  • Inkling 2 Mini 将 24 层存储层循环为每个 token 48 次层级计算。
  • 总参数 26.4B,激活参数 3.4B,约 20GB,Apache 2.0,上下文最高 1M。
  • 可通过 Ollama、vLLM 或 llama.cpp 在 32GB Mac 或 1 台 DGX Spark 上运行。
  • 在 SWE-bench Verified 上得分 79.2%,并以 20.1 AA Index 与 Qwen3.8-27B 持平。
  • 弱点:知识回忆、多轮对话以及约束密集型提示词。

查看技术博客、模型卡、模型权重和 Tinker Playground。你可以通过我们的 GPULeaderboard.com chrome 扩展在此查看部署选项和规格。

另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 telegram 上吗?现在你也可以在 telegram 上加入我们。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名有远见的企业家和工程师,Asif 致力于利用人工智能的潜力造福社会。他最近的举措是推出人工智能媒体平台 Marktechpost,该平台以对机器学习和深度学习新闻的深度报道而著称,内容既技术可靠又易于广大受众理解。该平台月浏览量超过 200 万,彰显了其在受众中的受欢迎程度。

  • Asif RazzaqBaseten 发布 Bison-1 和 Groundhog-1,登顶决策模型指数
  • Asif RazzaqRadixArk 推出 DaisyRose-27B,一款仅用强化学习训练的 27B 智能体编码模型
  • Asif RazzaqNVIDIA AI 发布 Nemotron-Labs-Sigma,一款连续扩散语言模型,包含 3B/8B 共 14 个 checkpoint

文章标题:认识 Thinking Machines Inkling 2 Mini:26B 循环 MoE 模型可在 32GB Mac 上运行

正文:

  • Asif Razzaq13 2026 年最佳 Agent 网关:面向 MCP、A2A 和 LLM 流量——Kong、Bifrost、AgentCore、Arcade

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by MarkTechPost
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗