文章标题:认识 Thinking Machines Inkling 2 Mini:26B 循环 MoE 可在 32GB Mac 上运行
正文: Thinking Machines Lab 发布了 Inkling 2 Mini,这是一个开放权重的循环式 transformer,总参数为 26.4B。该模型每个 token 复用其中间层 3 次,而不是增加更多权重。这使得 checkpoint 保持在接近 20GB,小到足以在 32GB Mac 或 1 台 NVIDIA DGX Spark 上运行。对开发者而言,Inkling 2 Mini 是用于智能体编程、工具使用和文档工作的本地选项。它以 Apache 2.0 许可在 Hugging Face 上发布,并在 Tinker 上提供托管推理和微调。
简要总结
- 规模:总计 26.4B,激活 3.4B(循环后每 token 有效 5.4B),上下文最高 1M token。
- 运行于:内存 32GB+ 的 Apple silicon、1 台 NVIDIA DGX Spark,或显存 32GB+ 的 GPU。通过 Unsloth 和 llama.cpp 提供 GGUF 构建。
- 性能:Artificial Analysis Index 得分 20.1,与 Qwen3.8-27B 持平(自报数据)。
- 最佳:SWE-bench Verified(仅 bash)79.2%。
- 最差:HLE-Diamond 15.2%,MultiChallenge 50.0%。
- 结论:最佳:来自 20GB checkpoint 的强大智能体编程能力。最差:知识回忆和多轮指令遵循较弱。
什么是 Inkling 2 Mini?
Inkling 2 Mini 是 Thinking Machines 推出的稀疏 Mixture-of-Experts 模型,其中间层会循环。它接受文本和图像输入,仅返回文本。
它紧随 11 月 5 日发布的 594B 参数模型 Inkling 2 Small。
循环式 transformer 如何工作?
该模型存储 24 层,分为 4 个块,每块 6 层。第一个和最后一个块运行一次。中间 2 个块以共享权重运行 3 次。这样,24 层权重每 token 产生 48 次层应用。
第一次之后的每次传递都会接收来自上一次传递的“消息”。Thinking Machines 通过 Attention Residuals 和一个学习到的门控来传递它。前馈层使用 128 个专家,每个 token 路由 8 个。
循环中间层带来了 1.51x 到 1.91x 的算力等效增益。循环最后几层只带来 1.24x 到 1.36x。中间循环变体在 28 项评估中胜出 27 项。
循环会消耗训练算力,但节省推理算力。一个非循环基线使用的训练算力少 7.5%。要在 512k token 的智能体轨迹上匹配循环模型的 loss,它需要多 140% 的推理算力。
Inkling 2 Mini 是如何训练的?
训练开始时每层有 384 个专家,每个 token 激活 8 个。在 midtraining 阶段,团队剪掉了其中三分之二,保留最常用的 128 个专家。随后,从更大的内部 Inkling 模型进行 1T token 的蒸馏运行,修复了剪枝后的模型。后训练先使用 SFT,然后在 2.2T token 和 2,000 步上进行 RL,外加 on-policy distillation。
专家层以 NVFP4 训练和部署。最后 4 层使用 MXFP8。Thinking Machines 表示这消除了量化转换损失。一个研究变体 TML-d24-varloop-research 使用 1 到 5 次传递进行训练。
Inkling 2 Mini 在基准测试中表现如何?
以下所有 Inkling 分数均为 Thinking Machines 自报。编程是最强的领域。Inkling 2 Mini 在 SWE-bench Verified(仅 bash)上得分 79.2%,在 SWE-bench Pro v2(Hard)上得分 77.9%。它在 DeepSWE v1.1 上达到 48.2%,而 Qwen 自己的模型卡列出 Qwen3.8-27B 为 42.2%。在 Terminal Bench v2.1 上它得分 71.6%,落后于 Qwen3.8-27B 的 73.0%。
智能体搜索同样表现稳健:带 compaction 的 BrowseComp 上为 79.0%,MCP Atlas 上为 82.7%。在文档和视觉方面,它在 OmniDocBench v1.6 上取得 92.8%,在 MMMU Pro 上取得 74.9%。在推理方面,它在 GPQA Diamond 上得分 86.6%,在 ARC-AGI-2 上得分 49.3%。
效率是核心卖点。在 Stanford 的 Intelligence per Watt 指标上,Thinking Machines 报告在 DGX Spark 上为 0.703。它列出 Qwen3.6-35B-A3B 为 0.430,Gemma-4-26B-A4B 为 0.159。
Inkling 2 Mini 与 Qwen 和 Gemma 相比如何?
| 特性 | Inkling 2 Mini ( card ) | Qwen3.8-27B ( card ) | Qwen3.6-35B-A3B ( card ) | Gemma 4 26B A4B ( card ) |
|---|---|---|---|---|
| 架构 | Looped MoE | Dense | MoE | MoE |
| 总参数 | 26.4B | 27B | 35B | 25.2B |
| 激活参数 | 3.4B(等效 5.4B) | 27B (dense) | 3B | 3.8B |
| 上下文 | 最高 1M | 原生 262,144,最高 1M | 原生 262,144,最高 1,010,000 | 256K |
| 许可协议 | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| 输入 | 文本、图像 | 文本、图像、视频 | 文本、图像 | 文本、图像 |
| 列出的硬件 | 约 20GB;32GB Mac 或 DGX Spark | 未披露 | 未披露 | 未披露 |
| GPQA Diamond | 86.6% | 89.2 | 86.0 | 82.3% |
| Terminal Bench 2.1 | 71.6% | 73.0 | 未报告 | 未报告 |
| SWE-bench Verified | 79.2%(仅 bash) | 未报告 | 73.4 | 未报告 |
| DeepSWE 1.1 | 48.2% | 42.2 | 未报告 | 未报告 |
| 托管访问 | Tinker | Qwen Cloud | 未披露 | 未披露 |
每一列均使用厂商自家的模型卡。评测框架和设置各不相同,因此跨厂商的差距只能作为方向性参考。
运行 Inkling 2 Mini 需要什么硬件?
该 checkpoint 的 Safetensors 文件约 20GB。Thinking Machines 列出了 3 种支持的配置:1 台 NVIDIA DGX Spark、32GB+ 内存的 Apple silicon,以及 32GB+ VRAM 的其他 GPU。量化 GGUF 版本可通过 Unsloth 和 llama.cpp 获取。
服务支持覆盖 Transformers、vLLM、SGLang、Ollama、NVIDIA Dynamo 和 TokenSpeed。发布材料中未披露 Mini 的 Tinker 定价。
vLLM 快速开始只需 1 条命令:vllm serve "thinkingmachines/Inkling-2-Mini"。
Inkling 2 Mini 的短板在哪里?
知识主要取决于总参数,而循环并未在知识类基准上带来帮助。Inkling 2 Mini 在 AA-Omniscience 上得分为 -8.6,非幻觉率为 63.4%。
在多轮对话或约束密集型提示词方面,它并非最佳的小模型。它在 MultiChallenge 上得分为 50.0%,在 ComplexConstraints v1.1 上为 33.4%。在 HLE-Diamond(15.2%)和 CritPt v2 上,它也落后于更大的模型。
核心要点
- Inkling 2 Mini 将 24 层存储层循环为每个 token 48 次层级计算。
- 总参数 26.4B,激活参数 3.4B,约 20GB,Apache 2.0,上下文最高 1M。
- 可通过 Ollama、vLLM 或 llama.cpp 在 32GB Mac 或 1 台 DGX Spark 上运行。
- 在 SWE-bench Verified 上得分 79.2%,并以 20.1 AA Index 与 Qwen3.8-27B 持平。
- 弱点:知识回忆、多轮对话以及约束密集型提示词。
查看技术博客、模型卡、模型权重和 Tinker Playground。你可以通过我们的 GPULeaderboard.com chrome 扩展在此查看部署选项和规格。
另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 telegram 上吗?现在你也可以在 telegram 上加入我们。
需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名有远见的企业家和工程师,Asif 致力于利用人工智能的潜力造福社会。他最近的举措是推出人工智能媒体平台 Marktechpost,该平台以对机器学习和深度学习新闻的深度报道而著称,内容既技术可靠又易于广大受众理解。该平台月浏览量超过 200 万,彰显了其在受众中的受欢迎程度。
- Asif RazzaqBaseten 发布 Bison-1 和 Groundhog-1,登顶决策模型指数
- Asif RazzaqRadixArk 推出 DaisyRose-27B,一款仅用强化学习训练的 27B 智能体编码模型
- Asif RazzaqNVIDIA AI 发布 Nemotron-Labs-Sigma,一款连续扩散语言模型,包含 3B/8B 共 14 个 checkpoint
文章标题:认识 Thinking Machines Inkling 2 Mini:26B 循环 MoE 模型可在 32GB Mac 上运行
正文:
- Asif Razzaq13 2026 年最佳 Agent 网关:面向 MCP、A2A 和 LLM 流量——Kong、Bifrost、AgentCore、Arcade