文章标题:欢迎 Inkling 2 Mini:为本地部署带来前沿性能
正文: TLDR;Inkling 2 Mini 是一款新的循环 Transformer 模型。它是一个多模态混合专家(Mixture-of-Experts)模型,物理总参数量约 26B,每 token 激活参数 3B。它用一种巧妙的技巧来提升容量:部分层会在一个重复三次的循环中被访问,这让它的表现就像拥有更多参数一样。它支持 1M token 的上下文长度,接受图像和文本输入。Thinking Machines Lab 以混合精度格式发布该模型,专家权重采用 NVFP4 和 MXFP8。还附带了一个 DSpark drafter,以很小的内存代价提供额外加速。
Inkling 2 Mini 比 Inkling 2 Small 小得多得多,专为本地 AI 环境设计。我们认为这是一款令人耳目一新的优秀本地模型。在我们的 vibe 测试中,它至少与 Qwen 3.8 27B 相当。还需要更多验证,但我们对这次发布非常兴奋!
我们提供 transformers、Llama App(llama.cpp)和 MLX 支持。SGLang 也为数据中心硬件上的生产部署提供首日推理支持。
本文将介绍 Inkling Mini 的不同之处、我们的一些 vibe 测试,以及如何在你的环境中使用它。
Inkling 2 Mini 有什么新变化?
Inkling 2 Mini 是一个混合专家模型,有 24 个解码器层,但中间的 12 层会在一个循环中运行三次。因此,该模型的实际表现就像拥有 48 个(6+ 3*12 + 6)逻辑层,而物理层只有 24 个。
与 Inkling 2 Small 类似,Inkling 2 Mini 每个 token 执行 48 次层访问。隐藏维度为 2,304,而不是 4,608。在每次层访问时,两个变体都将 token 路由到 8 个专家,但 Mini 是从每层的 128 个专家中选择,而 Small 是从 384 个中选择。解码器运行第 0–5 层一次,第 6–17 层三次,第 18–23 层一次。第 6–17 层的全部三次传递复用相同的权重。
Nanbeige 等架构此前已经探索过循环。但 Inkling 2 Mini 探索了一种有趣的方法。每次通过循环核心(第 6–17 层)时,都从相同的输入开始,即前六层的输出。信息通过跨传递消息在传递之间流动。每个循环层用自己的学习查询从上一传递的输出中读取一条消息(其查询、键、值和 MLP 输入各有一条消息)。然后一个小型门控控制器同时查看该层的当前输入和消息。它决定遗忘多少当前输入、加入多少消息。因此,每次传递都会对上一次传递计算出的结果进行细化。

每个六层块包含五个滑动窗口层和一个全注意力层。本地窗口最多容纳 1,024 个 token。注意力使用 24 个查询头和八个 KV 头。它使用学习到的相对位置 logits、学习到的 sink 和一个输出门。全注意力层使用动态键和值卷积。路由器为每个 token 从 128 个 SwiGLU 专家中选择八个。它对选中的分数进行归一化,并将权重缩放 8 倍。在第 2 和第 3 次传递期间,每个核心层对上一传递的两个残差块进行注意力计算。四个 rank-64 门将各自的消息混合到查询、键、值和 MoE 输入中。
- 每个六层块包含五个滑动窗口层和一个全注意力层。本地窗口最多容纳 1,024 个 token。
- 注意力使用 24 个查询头和八个 KV 头。它使用学习到的相对位置 logits、学习到的 sink 和一个输出门。全注意力层使用动态键和值卷积。
- 路由器为每个 token 从 128 个 SwiGLU 专家中选择八个。它对选中的分数进行归一化,并将权重缩放 8 倍。
- 在第 2 和第 3 次传递期间,每个核心层对上一传递的两个残差块进行注意力计算。四个 rank-64 门将各自的消息混合到查询、键、值和 MoE 输入中。
文章标题:Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup
正文:
文本解码器宽度为 2,304,每个专家的中间宽度为 1,152。复用核心权重可以减少检查点所存储的不同层数量。模型仍然执行全部 48 次访问,每次访问都保留自己的 KV 和短卷积状态。
除了旗舰级的 Inkling 2 Mini 模型之外,还发布了一个研究用产物。它与前者共享相同的架构,但这个变体经过训练,可以接受可变次数的循环遍历 🤯。将遍历次数设为 1 或 2 而不是 3,会使推理运行快得多,但生成内容的质量可能略低。我们测试了这个变体,它能用,但我们还没有对它进行深入评估。
Benchmark Results
在 Artificial Analysis Intelligence Index v5(AAv5)中,Inkling 2 Mini 在同级别中处于最先进水平,在各类别的众多基准测试中也是如此。与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,Inkling 2 Mini 在 48 项基准测试中的 32 项上领先。这些测试涵盖编码与自动研究、面向知识工作的智能体搜索与工具使用、视觉理解与创作、推理与知识,以及安全与对齐。完整的基准测试列表和分数请参阅 Inkling 2 Mini 模型卡。
Inkling 2 Mini 是出色的本地编码伙伴。它在 FrontierCode v2.0 上领先,在 Terminal-Bench 4.0 上与 Qwen3.8-27B 打平,在 AutomationBench-AA v1.0.6 上则落后于 Qwen。你可以在下面查看我们在编码和知识工作方面的一些亮点。请注意,AA Briefcase 采用 ELO 评分,越高越好。

Inference Support
在本节中,你可以找到如何在 transformers、llama.cpp、MLX 和 SGLang 中使用 Inkling 2 Mini。
Transformers
我们同时支持 Inkling 2 Mini(固定循环)和 TML-d24-varloop-research(可变循环)研究变体。
使用 Inkling 2 Mini 的固定循环
你可以使用 AutoModelForMultimodalLM 类。
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id,
)
messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}]
inputs = processor.apply_chat_template(
messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))
可变循环
要设置研究用检查点中的循环次数,你可以按如下方式修改 text_config 中的 loop_num_passes。下面的示例使用两个循环。
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/TML-d24-varloop-research"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id,
text_config={"loop_num_passes": 2},
)
messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}]
inputs = processor.apply_chat_template(
messages, reasoning_effort="medium", tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))
图像与文本
对于图像提示,请将任一示例中的 messages 替换为下面的列表,然后照常进行推理。
messages = [
{
"role": "user",
"content": [
{"type": "image", "image": "/path/to/image.jpg"},
{"type": "text", "text": "What is in this image?"},
],
}
]
推理强度
向 processor.apply_chat_template(...) 传入 reasoning_effort="medium" 即可为请求设置强度。聊天模板会将这个数值作为 system message 加入 prompt。默认值为 high(0.9)。
inputs = processor.apply_chat_template(
messages, reasoning_effort="medium", tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt",
).to(model.device)
可用的级别有 none(0.0)、minimal(0.1)、low(0.2)、medium(0.7)、high(0.9;默认)、xhigh(0.99)和 max(0.99)。你也可以传入 0.0 到 0.99 之间的数字,例如 reasoning_effort=0.35。
工具调用
我们来让模型调用一些工具。
在这个示例中,我们向模型询问某个地点的当前温度。除了 prompt 之外,我们还提供了用于查询温度的工具(get_current_temperature)。模型会请求一次工具调用,我们代它调用该工具,然后把输出加入下一轮指令。模型使用该工具的输出,并为我们提供最终结果。
如果你想进一步了解工具调用,我们建议查阅我们的官方文档。
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")
def get_current_temperature(location: str, unit: str):
"""
Get the current temperature at a location.
Args:
location: The location to get the temperature for, in the format "City, Country"
unit: The unit to return the temperature in. (choices: ["celsius", "fahrenheit"])
"""
return 22.0 # A real function would call a weather API here
def ask(messages):
inputs = processor.apply_chat_template(
messages, tools=[get_current_temperature], reasoning_effort="low", tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device)
output = model.generate(**inputs, max_new_tokens=1024)[0][inputs["input_ids"].shape[-1] :]
parsed = processor.parse_response(output, prefix=inputs["input_ids"][0])
return parsed
messages = [{"role": "user", "content": "Hey, what's the temperature in Paris right now?"}]
reply = ask(messages)
call = reply["tool_calls"][0]["function"]
print("Model calls:", call["name"], call["arguments"]) # the model fills in the arguments itself
temperature = get_current_temperature(**call["arguments"])
messages += [reply, {"role": "tool", "name": call["name"], "content": str(temperature)}]
print(ask(messages)["content"])
# Model calls: get_current_temperature {'location': 'Paris, France', 'unit': 'celsius'}
# Right now in Paris it’s about **22°C** (roughly **71.6°F**).
Llama App 与 Llama.cpp
Llama App 让你可以轻松在 macOS(从菜单栏)或 Windows(系统托盘)上运行和管理本地语言模型。它基于 llama.cpp 构建,且出自同一团队。该应用还提供本地 OpenAI 兼容 API,便于与编码代理、编辑器和脚本集成。
为配合 Inkling 2 Mini 的发布,我们为两个模型都提供了 GGUF 4-bit(IQ4_NL)和 8-bit(Q8_0)量化版本。
如果你使用 Linux,或想从 CLI 提供模型服务,可以对 fixed-loop 模型运行以下命令:
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL
要运行 variable-loop 模型,可以运行
llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL
要加载 8-bit 权重,将后缀改为 :Q8_0。
这里我们让 4-bit 模型为一个名为 plant therapy 的 SaaS 制作网站,该服务将植物匹配给持证治疗师。模型相当自主,它为网站上的视觉元素制作了自己的 SVG,甚至构建了匹配逻辑。
SGLang
Inkling 2 Mini 在 SGLang 中提供 Day 0 支持。你可以安装最新版本的 SGLang,并执行以下命令来启动服务器并使其运行。需要处理的一个前提条件是它要在 SM103 上运行。
export MODEL="thinkingmachines/Inkling-2-Mini"
python -m sglang.launch_server \
--model-path $MODEL \
--served-model-name inkling \
--attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \
--tp 1 --page-size 128 --grammar-backend xgrammar \
--host 0.0.0.0 --port 30000
服务器启动后,你应该能够像这样请求 API
curl -s localhost:30000/health_generate && echo OK
curl -s localhost:30000/v1/models | python -m json.tool
curl -s localhost:30000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "inkling",
"messages": [{"role": "user", "content": "What is 17 times 24?"}],
"max_tokens": 512,
"reasoning_effort": "low"
}' | python -m json.tool
也可以通过设置 --enable-multimodal 来启用多模态。
投机解码
SGLang 可以使用三层 DSpark 草稿模型来提出 token,供目标模型验证。草稿模型读取解码器第 5、23 和 41 层的输入,以及索引 48 处的最终归一化状态。在具备草稿权重的情况下,在服务器命令中添加 --speculative-algorithm DSPARK --context-length 131072。
我们对启用和不启用投机解码的模型进行了基准测试,并在单块 NVIDIA B300 GPU 上测量了生成速度,其中每个请求都有 1,024 token 的提示,并精确生成 1,024 个 token,并发数为 1、4、16 和 64。
MODEL=thinkingmachines/Inkling-2-Mini
for TAG in base mtp; do
EXTRA=""; [ $TAG = mtp ] && EXTRA="--speculative-algorithm DSPARK"
# Start the server (with or without MTP)
python -m sglang.launch_server --model-path $MODEL \
--attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \
--tp 1 --page-size 128 --context-length 131072 --max-running-requests 64 \
--port 30000 $EXTRA > $TAG.log 2>&1 &
until curl -sf localhost:30000/health_generate > /dev/null; do sleep 10; done
# Benchmark at increasing concurrency
for C in 1 4 16 64; do
python -m sglang.bench_serving --backend sglang --port 30000 --model $MODEL \
--dataset-name random --apply-chat-template \
--random-input-len 1024 --random-output-len 1024 --random-range-ratio 1.0 \
--num-prompts $(( C*4 < 32 ? 32 : C*4 )) --max-concurrency $C \
--output-file results_$TAG.jsonl
done
kill %1; wait
done

MLX
我们将 MLX 支持上游贡献到了 mlx-lm 项目,包括多模态图像和文本输入,并通过 mlx-community 组织共享了量化模型。
MLX 推理也可以使用原始检查点。在这种情况下,使用原生的 nvfp4 + mxfp8 量化方案而无需重新转换:你获得的即是作者预期的原始质量。
以下是一个 CLI 调用示例:
mlx_lm generate --model thinkingmachines/Inkling-2-Mini --image image.jpg --prompt "Describe this image.<|end_message|><|message_user|><|content_image|><|unused_200054|>" -m 1000
演示与 Vibe 测试
我们让 Inkling 2 Mini 尝试了许多有趣的任务,在本节中来看看吧。
3D 着色器飞越
同一个提示词生成了两个日落飞越场景,越过程序化生成的山脉和反光水面,每个场景都使用单个 WebGL 片段着色器渲染。
Sunset Ridge(Inkling 2 Mini)
Over the Still Sea(Qwen 3.8 27B)
文章标题:欢迎 Inkling 2 Mini,为你的本地环境带来前沿性能
正文:
构建你能做出的最令人印象深刻的原创实时场景:一段缓慢的电影感镜头,飞越程序化生成的山脉,穿过体积云,低掠于带有倒影的水面之上,全部由日落光照亮。将它作为一个单独的自包含 index.html 交付到当前目录,在一个全屏 WebGL 片元着色器中渲染一切,完全由代码生成(不加载任何纹理、图片、字体、库、外部文件或网络请求)。它必须在桌面 Chrome 的 1920x1080 下流畅运行,目标是在桌面 GPU 上达到 60 fps,并带有自动分辨率缩放回退:当帧率下降时降低内部渲染分辨率;飞行必须无限持续且不出现故障。要检查你的工作,运行 node shot.cjs index.html shot.png 6(第三个参数是等待的秒数;像 3,12,25 这样的逗号列表会为每个时间点各保存一张截图,可选的第四个参数设置尺寸,默认 1280x720):它会在无头 Chrome 中渲染页面,保存截图,并打印 WebGL 渲染器、粗略帧率和任何控制台错误;然后查看这些图片。这台机器上的无头渲染器可能仅使用软件渲染,因此其帧率可能远低于真实桌面 GPU 所能达到的水平,这不是目标。你自己决定结果何时完成,然后回复一段关于你所构建内容的简短描述。
活起来的星月夜

Vincent van Gogh,The Starry Night(1889)
Inkling 2 Mini 复刻
我们给了 Inkling 2 Mini 一张梵高画作的参考图,以及 Pi 编码环境中的一个截图辅助工具。Inkling 编写了一个自包含的 HTML 页面,内含单个 WebGL2 片元着色器。该着色器完全从代码绘制场景,不加载参考图像或任何其他资源。它使用时间驱动旋转的天空、星星的辉光、摇曳的柏树以及村庄窗户的闪烁。
Inkling 通过 24 轮截图检查对其作品进行了渲染和审查。我们在 Apple M4 Max 上以 1080p 和 60 fps 逐帧录制了最终动画。
在此文件夹中,starry-night.jpg 是 Vincent van Gogh 的 The Starry Night(1889,公有领域)。将其重新创作为一幅活着的画:一个单独的自包含 index.html(所有代码内联,无外部文件、库或网络请求),填满浏览器窗口,并在桌面 Chrome 的 1920x1080 下流畅运行。一切必须在代码中程序化生成,例如使用 WebGL 着色器;页面不得加载、嵌入或采样 starry-night.jpg 或任何其他图像。忠于画作的构图和色调(天空的巨大螺旋与旋转气流、带光环的星星、发光的蛾眉月、左侧深色火焰般的柏树、起伏的山丘,以及带教堂尖顶的村庄),以梵高厚实、有方向感的笔触渲染,并让它活起来:天空的漩涡流动,星星和月亮脉动发光,柏树摇曳,村庄的窗户发光并闪烁。力求做出你能达到的最令人印象深刻的结果。提供了一个辅助工具:运行 node shot.js --help 了解如何在多个时刻对 index.html 截图;查看截图并与参考图对比,不断改进直到你满意,然后回复一段关于你所做内容的简短总结。
从餐巾纸到应用

输入的餐巾纸草图

生成的 Trip Split 应用
文章标题:欢迎 Inkling 2 Mini,为你的本地环境带来前沿性能
正文: 我们在 Pi coding harness 中给 Inkling 2 Mini 提供了一张手绘 Trip Split 线框图的照片和一段单段提示词。Inkling 利用草图中的标签、示例支出和手写备注,在单个 HTML 文件中用原生 CSS 和 JavaScript 构建了支出列表、添加支出表单和余额视图。当支出发生变化时,应用会更新总计和余额,建议用于结清旅行的付款,并将数据保存在浏览器的 localStorage 中,使其在重新加载后仍能保留。
我们运行了三次独立的 Inkling 尝试,并使用 Playwright 点击浏览每个构建,在需要视觉判断的地方检查截图。这里展示的第一次尝试通过了全部 13 项检查。添加草图中的 $90 晚餐后,总计从 $405 提高到 $495,并重新计算了每个人应支付的金额。
此文件夹中的照片 sketch.jpg 是一位产品设计师手绘的小型应用线框图。请真正构建该应用,尽你所能做出最令人印象深刻、最具原创性、达到生产质量的版本:在此文件夹中创建一个单独的、自包含的 index.html,仅使用原生 HTML、CSS 和 JavaScript(不使用框架、CDN、外部文件或网络请求;可以使用 localStorage),并且必须在 1920x1080 的桌面 Chrome 中流畅运行。将纸上的所有内容都视为规范:每个屏幕、标签、按钮和数字、示例数据,以及每条红色备注所描述的行为都必须真正可用,而视觉设计、排版和动效则由你打造得美观。请用你的视觉仔细观察草图,并再次用你的视觉检查自己的工作:node shot.cjs --help 说明了一个提供的辅助工具,它可以在无头 Chrome 中于任意窗口大小下,在点击或其他 JavaScript 步骤后对 index.html 截图(如果你更喜欢自己的脚本,也安装了 Playwright),并且你可以用 read 工具查看任何截图。点击浏览每个功能,将每个屏幕与草图进行比较,并持续改进,直到你完全满意;然后回复一段简短总结,说明你构建了什么。
4-bit 模型
我们要求 4-bit GGUF 量化的 Inkling 2 Mini(IQ4_NL)为一个名为 plant therapy 的 SaaS 制作网站,该网站将植物与持证治疗师进行匹配。
模型相当自主,它自己为网站上的视觉元素制作了 SVG,甚至构建了匹配逻辑,而这一切都来自一段简短的提示词:“你能为我的 saas 做一个名为 plant therapy 的网站吗?在这个网站里,我把室内植物与持证治疗师匹配起来,这样植物就不会死,返回单个 HTML”。
“把你自己变成一个浏览器代理”
我们将 Inkling 2 Mini 与 Pi coding agent 配对,使用 Helium、Chromium 和 Hugging Face Sandboxes 将它自身构建成一个浏览器代理。我们在该 bucket 中提供了轨迹和最终文件(可用作浏览器代理)。
总结
我们非常高兴与 Thinking Machines Lab 合作发布 Inkling 2 Mini,这是一款面向本地环境的高性能中型模型。试试这个模型,并在评论中告诉我们你的想法!