Newshot

欢迎 Inkling 2 Mini:为本地部署带来前沿性能

Translation(model translation, not the source's own text)

文章标题:欢迎 Inkling 2 Mini:为本地部署带来前沿性能

正文: TLDR;Inkling 2 Mini 是一款新的循环 Transformer 模型。它是一个多模态混合专家(Mixture-of-Experts)模型,物理总参数量约 26B,每 token 激活参数 3B。它用一种巧妙的技巧来提升容量:部分层会在一个重复三次的循环中被访问,这让它的表现就像拥有更多参数一样。它支持 1M token 的上下文长度,接受图像和文本输入。Thinking Machines Lab 以混合精度格式发布该模型,专家权重采用 NVFP4 和 MXFP8。还附带了一个 DSpark drafter,以很小的内存代价提供额外加速。

Inkling 2 Mini 比 Inkling 2 Small 小得多得多,专为本地 AI 环境设计。我们认为这是一款令人耳目一新的优秀本地模型。在我们的 vibe 测试中,它至少与 Qwen 3.8 27B 相当。还需要更多验证,但我们对这次发布非常兴奋!

我们提供 transformers、Llama App(llama.cpp)和 MLX 支持。SGLang 也为数据中心硬件上的生产部署提供首日推理支持。

本文将介绍 Inkling Mini 的不同之处、我们的一些 vibe 测试,以及如何在你的环境中使用它。

Inkling 2 Mini 有什么新变化?

Inkling 2 Mini 是一个混合专家模型,有 24 个解码器层,但中间的 12 层会在一个循环中运行三次。因此,该模型的实际表现就像拥有 48 个(6+ 3*12 + 6)逻辑层,而物理层只有 24 个。

与 Inkling 2 Small 类似,Inkling 2 Mini 每个 token 执行 48 次层访问。隐藏维度为 2,304,而不是 4,608。在每次层访问时,两个变体都将 token 路由到 8 个专家,但 Mini 是从每层的 128 个专家中选择,而 Small 是从 384 个中选择。解码器运行第 0–5 层一次,第 6–17 层三次,第 18–23 层一次。第 6–17 层的全部三次传递复用相同的权重。

Nanbeige 等架构此前已经探索过循环。但 Inkling 2 Mini 探索了一种有趣的方法。每次通过循环核心(第 6–17 层)时,都从相同的输入开始,即前六层的输出。信息通过跨传递消息在传递之间流动。每个循环层用自己的学习查询从上一传递的输出中读取一条消息(其查询、键、值和 MLP 输入各有一条消息)。然后一个小型门控控制器同时查看该层的当前输入和消息。它决定遗忘多少当前输入、加入多少消息。因此,每次传递都会对上一次传递计算出的结果进行细化。

Inkling 2 Mini 架构
Inkling 2 Mini 架构
每个六层块包含五个滑动窗口层和一个全注意力层。本地窗口最多容纳 1,024 个 token。注意力使用 24 个查询头和八个 KV 头。它使用学习到的相对位置 logits、学习到的 sink 和一个输出门。全注意力层使用动态键和值卷积。路由器为每个 token 从 128 个 SwiGLU 专家中选择八个。它对选中的分数进行归一化,并将权重缩放 8 倍。在第 2 和第 3 次传递期间,每个核心层对上一传递的两个残差块进行注意力计算。四个 rank-64 门将各自的消息混合到查询、键、值和 MoE 输入中。
  • 每个六层块包含五个滑动窗口层和一个全注意力层。本地窗口最多容纳 1,024 个 token。
  • 注意力使用 24 个查询头和八个 KV 头。它使用学习到的相对位置 logits、学习到的 sink 和一个输出门。全注意力层使用动态键和值卷积。
  • 路由器为每个 token 从 128 个 SwiGLU 专家中选择八个。它对选中的分数进行归一化,并将权重缩放 8 倍。
  • 在第 2 和第 3 次传递期间,每个核心层对上一传递的两个残差块进行注意力计算。四个 rank-64 门将各自的消息混合到查询、键、值和 MoE 输入中。

文章标题:Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

正文:

文本解码器宽度为 2,304,每个专家的中间宽度为 1,152。复用核心权重可以减少检查点所存储的不同层数量。模型仍然执行全部 48 次访问,每次访问都保留自己的 KV 和短卷积状态。

除了旗舰级的 Inkling 2 Mini 模型之外,还发布了一个研究用产物。它与前者共享相同的架构,但这个变体经过训练,可以接受可变次数的循环遍历 🤯。将遍历次数设为 1 或 2 而不是 3,会使推理运行快得多,但生成内容的质量可能略低。我们测试了这个变体,它能用,但我们还没有对它进行深入评估。

Benchmark Results

在 Artificial Analysis Intelligence Index v5(AAv5)中,Inkling 2 Mini 在同级别中处于最先进水平,在各类别的众多基准测试中也是如此。与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,Inkling 2 Mini 在 48 项基准测试中的 32 项上领先。这些测试涵盖编码与自动研究、面向知识工作的智能体搜索与工具使用、视觉理解与创作、推理与知识,以及安全与对齐。完整的基准测试列表和分数请参阅 Inkling 2 Mini 模型卡。

Inkling 2 Mini 是出色的本地编码伙伴。它在 FrontierCode v2.0 上领先,在 Terminal-Bench 4.0 上与 Qwen3.8-27B 打平,在 AutomationBench-AA v1.0.6 上则落后于 Qwen。你可以在下面查看我们在编码和知识工作方面的一些亮点。请注意,AA Briefcase 采用 ELO 评分,越高越好。

Inkling 2 Mini 部分基准测试
Inkling 2 Mini 部分基准测试

Inference Support

在本节中,你可以找到如何在 transformers、llama.cpp、MLX 和 SGLang 中使用 Inkling 2 Mini。

Transformers

我们同时支持 Inkling 2 Mini(固定循环)和 TML-d24-varloop-research(可变循环)研究变体。

使用 Inkling 2 Mini 的固定循环

你可以使用 AutoModelForMultimodalLM 类。


        import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling-2-Mini"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
)

messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}]

inputs = processor.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))
      

可变循环

要设置研究用检查点中的循环次数,你可以按如下方式修改 text_config 中的 loop_num_passes。下面的示例使用两个循环。


        import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/TML-d24-varloop-research"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    text_config={"loop_num_passes": 2},
)

messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}]

inputs = processor.apply_chat_template(
    messages, reasoning_effort="medium", tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))
      

图像与文本

对于图像提示,请将任一示例中的 messages 替换为下面的列表,然后照常进行推理。


        messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "/path/to/image.jpg"},
            {"type": "text", "text": "What is in this image?"},
        ],
    }
]
      

推理强度

向 processor.apply_chat_template(...) 传入 reasoning_effort="medium" 即可为请求设置强度。聊天模板会将这个数值作为 system message 加入 prompt。默认值为 high(0.9)。


        inputs = processor.apply_chat_template(
    messages, reasoning_effort="medium", tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt",
).to(model.device)
      

可用的级别有 none(0.0)、minimal(0.1)、low(0.2)、medium(0.7)、high(0.9;默认)、xhigh(0.99)和 max(0.99)。你也可以传入 0.0 到 0.99 之间的数字,例如 reasoning_effort=0.35。

工具调用

我们来让模型调用一些工具。

在这个示例中,我们向模型询问某个地点的当前温度。除了 prompt 之外,我们还提供了用于查询温度的工具(get_current_temperature)。模型会请求一次工具调用,我们代它调用该工具,然后把输出加入下一轮指令。模型使用该工具的输出,并为我们提供最终结果。

如果你想进一步了解工具调用,我们建议查阅我们的官方文档。


        import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

def get_current_temperature(location: str, unit: str):
    """
    Get the current temperature at a location.

Args:
        location: The location to get the temperature for, in the format "City, Country"
        unit: The unit to return the temperature in. (choices: ["celsius", "fahrenheit"])
    """
    return 22.0  # A real function would call a weather API here

def ask(messages):
    inputs = processor.apply_chat_template(
        messages, tools=[get_current_temperature], reasoning_effort="low", tokenize=True, return_dict=True, return_tensors="pt"
    ).to(model.device)
    output = model.generate(**inputs, max_new_tokens=1024)[0][inputs["input_ids"].shape[-1] :]
    parsed = processor.parse_response(output, prefix=inputs["input_ids"][0])
    return parsed

messages = [{"role": "user", "content": "Hey, what's the temperature in Paris right now?"}]

reply = ask(messages)
call = reply["tool_calls"][0]["function"]
print("Model calls:", call["name"], call["arguments"])  # the model fills in the arguments itself

temperature = get_current_temperature(**call["arguments"])
messages += [reply, {"role": "tool", "name": call["name"], "content": str(temperature)}]
print(ask(messages)["content"])

# Model calls: get_current_temperature {'location': 'Paris, France', 'unit': 'celsius'}
# Right now in Paris it’s about **22°C** (roughly **71.6°F**).
      

Llama App 与 Llama.cpp

Llama App 让你可以轻松在 macOS(从菜单栏)或 Windows(系统托盘)上运行和管理本地语言模型。它基于 llama.cpp 构建,且出自同一团队。该应用还提供本地 OpenAI 兼容 API,便于与编码代理、编辑器和脚本集成。

为配合 Inkling 2 Mini 的发布,我们为两个模型都提供了 GGUF 4-bit(IQ4_NL)和 8-bit(Q8_0)量化版本。

如果你使用 Linux,或想从 CLI 提供模型服务,可以对 fixed-loop 模型运行以下命令:


        llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL
      

要运行 variable-loop 模型,可以运行


        llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL
      

要加载 8-bit 权重,将后缀改为 :Q8_0。

这里我们让 4-bit 模型为一个名为 plant therapy 的 SaaS 制作网站,该服务将植物匹配给持证治疗师。模型相当自主,它为网站上的视觉元素制作了自己的 SVG,甚至构建了匹配逻辑。

SGLang

Inkling 2 Mini 在 SGLang 中提供 Day 0 支持。你可以安装最新版本的 SGLang,并执行以下命令来启动服务器并使其运行。需要处理的一个前提条件是它要在 SM103 上运行。


        export MODEL="thinkingmachines/Inkling-2-Mini"

python -m sglang.launch_server \
  --model-path $MODEL \
  --served-model-name inkling \
  --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \
  --tp 1 --page-size 128 --grammar-backend xgrammar \
  --host 0.0.0.0 --port 30000
      

服务器启动后,你应该能够像这样请求 API


        curl -s localhost:30000/health_generate && echo OK
curl -s localhost:30000/v1/models | python -m json.tool

curl -s localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
        "model": "inkling",
        "messages": [{"role": "user", "content": "What is 17 times 24?"}],
        "max_tokens": 512,
        "reasoning_effort": "low"
      }' | python -m json.tool
      

也可以通过设置 --enable-multimodal 来启用多模态。

投机解码

SGLang 可以使用三层 DSpark 草稿模型来提出 token,供目标模型验证。草稿模型读取解码器第 5、23 和 41 层的输入,以及索引 48 处的最终归一化状态。在具备草稿权重的情况下,在服务器命令中添加 --speculative-algorithm DSPARK --context-length 131072。

我们对启用和不启用投机解码的模型进行了基准测试,并在单块 NVIDIA B300 GPU 上测量了生成速度,其中每个请求都有 1,024 token 的提示,并精确生成 1,024 个 token,并发数为 1、4、16 和 64。


        MODEL=thinkingmachines/Inkling-2-Mini

for TAG in base mtp; do
  EXTRA=""; [ $TAG = mtp ] && EXTRA="--speculative-algorithm DSPARK"

# Start the server (with or without MTP)
  python -m sglang.launch_server --model-path $MODEL \
    --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \
    --tp 1 --page-size 128 --context-length 131072 --max-running-requests 64 \
    --port 30000 $EXTRA > $TAG.log 2>&1 &
  until curl -sf localhost:30000/health_generate > /dev/null; do sleep 10; done

# Benchmark at increasing concurrency
  for C in 1 4 16 64; do
    python -m sglang.bench_serving --backend sglang --port 30000 --model $MODEL \
      --dataset-name random --apply-chat-template \
      --random-input-len 1024 --random-output-len 1024 --random-range-ratio 1.0 \
      --num-prompts $(( C*4 < 32 ? 32 : C*4 )) --max-concurrency $C \
      --output-file results_$TAG.jsonl
  done

kill %1; wait
done
      
使用和不使用 MTP 时 SGLang 的吞吐量和每 token 耗时
使用和不使用 MTP 时 SGLang 的吞吐量和每 token 耗时

MLX

我们将 MLX 支持上游贡献到了 mlx-lm 项目,包括多模态图像和文本输入,并通过 mlx-community 组织共享了量化模型。

MLX 推理也可以使用原始检查点。在这种情况下,使用原生的 nvfp4 + mxfp8 量化方案而无需重新转换:你获得的即是作者预期的原始质量。

以下是一个 CLI 调用示例:


        mlx_lm generate --model thinkingmachines/Inkling-2-Mini --image image.jpg --prompt "Describe this image.<|end_message|><|message_user|><|content_image|><|unused_200054|>" -m 1000
      

演示与 Vibe 测试

我们让 Inkling 2 Mini 尝试了许多有趣的任务,在本节中来看看吧。

3D 着色器飞越

同一个提示词生成了两个日落飞越场景,越过程序化生成的山脉和反光水面,每个场景都使用单个 WebGL 片段着色器渲染。

Sunset Ridge(Inkling 2 Mini)

Over the Still Sea(Qwen 3.8 27B)

文章标题:欢迎 Inkling 2 Mini,为你的本地环境带来前沿性能

正文:

构建你能做出的最令人印象深刻的原创实时场景:一段缓慢的电影感镜头,飞越程序化生成的山脉,穿过体积云,低掠于带有倒影的水面之上,全部由日落光照亮。将它作为一个单独的自包含 index.html 交付到当前目录,在一个全屏 WebGL 片元着色器中渲染一切,完全由代码生成(不加载任何纹理、图片、字体、库、外部文件或网络请求)。它必须在桌面 Chrome 的 1920x1080 下流畅运行,目标是在桌面 GPU 上达到 60 fps,并带有自动分辨率缩放回退:当帧率下降时降低内部渲染分辨率;飞行必须无限持续且不出现故障。要检查你的工作,运行 node shot.cjs index.html shot.png 6(第三个参数是等待的秒数;像 3,12,25 这样的逗号列表会为每个时间点各保存一张截图,可选的第四个参数设置尺寸,默认 1280x720):它会在无头 Chrome 中渲染页面,保存截图,并打印 WebGL 渲染器、粗略帧率和任何控制台错误;然后查看这些图片。这台机器上的无头渲染器可能仅使用软件渲染,因此其帧率可能远低于真实桌面 GPU 所能达到的水平,这不是目标。你自己决定结果何时完成,然后回复一段关于你所构建内容的简短描述。

活起来的星月夜

梵高原版《星月夜》画作,村庄上方是旋转的蓝色天空
梵高原版《星月夜》画作,村庄上方是旋转的蓝色天空

Vincent van Gogh,The Starry Night(1889)

Inkling 2 Mini 复刻

我们给了 Inkling 2 Mini 一张梵高画作的参考图,以及 Pi 编码环境中的一个截图辅助工具。Inkling 编写了一个自包含的 HTML 页面,内含单个 WebGL2 片元着色器。该着色器完全从代码绘制场景,不加载参考图像或任何其他资源。它使用时间驱动旋转的天空、星星的辉光、摇曳的柏树以及村庄窗户的闪烁。

Inkling 通过 24 轮截图检查对其作品进行了渲染和审查。我们在 Apple M4 Max 上以 1080p 和 60 fps 逐帧录制了最终动画。

在此文件夹中,starry-night.jpg 是 Vincent van Gogh 的 The Starry Night(1889,公有领域)。将其重新创作为一幅活着的画:一个单独的自包含 index.html(所有代码内联,无外部文件、库或网络请求),填满浏览器窗口,并在桌面 Chrome 的 1920x1080 下流畅运行。一切必须在代码中程序化生成,例如使用 WebGL 着色器;页面不得加载、嵌入或采样 starry-night.jpg 或任何其他图像。忠于画作的构图和色调(天空的巨大螺旋与旋转气流、带光环的星星、发光的蛾眉月、左侧深色火焰般的柏树、起伏的山丘,以及带教堂尖顶的村庄),以梵高厚实、有方向感的笔触渲染,并让它活起来:天空的漩涡流动,星星和月亮脉动发光,柏树摇曳,村庄的窗户发光并闪烁。力求做出你能达到的最令人印象深刻的结果。提供了一个辅助工具:运行 node shot.js --help 了解如何在多个时刻对 index.html 截图;查看截图并与参考图对比,不断改进直到你满意,然后回复一段关于你所做内容的简短总结。

从餐巾纸到应用

手绘的 Trip Split 线框图,包含 Expenses、Add expense 和 Balances 界面
手绘的 Trip Split 线框图,包含 Expenses、Add expense 和 Balances 界面

输入的餐巾纸草图

Inkling 的 Trip Split 应用,显示三笔旅行支出和 405 美元总计
Inkling 的 Trip Split 应用,显示三笔旅行支出和 405 美元总计

生成的 Trip Split 应用

文章标题:欢迎 Inkling 2 Mini,为你的本地环境带来前沿性能

正文: 我们在 Pi coding harness 中给 Inkling 2 Mini 提供了一张手绘 Trip Split 线框图的照片和一段单段提示词。Inkling 利用草图中的标签、示例支出和手写备注,在单个 HTML 文件中用原生 CSS 和 JavaScript 构建了支出列表、添加支出表单和余额视图。当支出发生变化时,应用会更新总计和余额,建议用于结清旅行的付款,并将数据保存在浏览器的 localStorage 中,使其在重新加载后仍能保留。

我们运行了三次独立的 Inkling 尝试,并使用 Playwright 点击浏览每个构建,在需要视觉判断的地方检查截图。这里展示的第一次尝试通过了全部 13 项检查。添加草图中的 $90 晚餐后,总计从 $405 提高到 $495,并重新计算了每个人应支付的金额。

此文件夹中的照片 sketch.jpg 是一位产品设计师手绘的小型应用线框图。请真正构建该应用,尽你所能做出最令人印象深刻、最具原创性、达到生产质量的版本:在此文件夹中创建一个单独的、自包含的 index.html,仅使用原生 HTML、CSS 和 JavaScript(不使用框架、CDN、外部文件或网络请求;可以使用 localStorage),并且必须在 1920x1080 的桌面 Chrome 中流畅运行。将纸上的所有内容都视为规范:每个屏幕、标签、按钮和数字、示例数据,以及每条红色备注所描述的行为都必须真正可用,而视觉设计、排版和动效则由你打造得美观。请用你的视觉仔细观察草图,并再次用你的视觉检查自己的工作:node shot.cjs --help 说明了一个提供的辅助工具,它可以在无头 Chrome 中于任意窗口大小下,在点击或其他 JavaScript 步骤后对 index.html 截图(如果你更喜欢自己的脚本,也安装了 Playwright),并且你可以用 read 工具查看任何截图。点击浏览每个功能,将每个屏幕与草图进行比较,并持续改进,直到你完全满意;然后回复一段简短总结,说明你构建了什么。

4-bit 模型

我们要求 4-bit GGUF 量化的 Inkling 2 Mini(IQ4_NL)为一个名为 plant therapy 的 SaaS 制作网站,该网站将植物与持证治疗师进行匹配。

模型相当自主,它自己为网站上的视觉元素制作了 SVG,甚至构建了匹配逻辑,而这一切都来自一段简短的提示词:“你能为我的 saas 做一个名为 plant therapy 的网站吗?在这个网站里,我把室内植物与持证治疗师匹配起来,这样植物就不会死,返回单个 HTML”。

“把你自己变成一个浏览器代理”

我们将 Inkling 2 Mini 与 Pi coding agent 配对,使用 Helium、Chromium 和 Hugging Face Sandboxes 将它自身构建成一个浏览器代理。我们在该 bucket 中提供了轨迹和最终文件(可用作浏览器代理)。

总结

我们非常高兴与 Thinking Machines Lab 合作发布 Inkling 2 Mini,这是一款面向本地环境的高性能中型模型。试试这个模型,并在评论中告诉我们你的想法!

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hugging Face
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗