Newshot

我打造了一个工具,能找到在你的 GPU 上服务 LLM 的最快方式

Translation(model translation, not the source's own text)

rigtune

题图
题图

这个项目原来叫 PolyServe。我改了名,因为 2025 年的一篇论文已经用了这个名字。旧的 profile、结果和设置仍然可用(详情)。

我受够了靠猜来设定服务参数。每个指南的说法都不一样,在一张 GPU 上最快的方案,换一张往往更慢。所以我做了一个只做测量的工具。rigtune 会在你的卡上,用你的 prompt,逐一尝试不同引擎、权重精度、KV cache 类型和投机解码,然后把胜出的方案架在 OpenAI 兼容 API 后面提供服务。

2026 年 11 月,我拿它能找到的所有方案做了对比:原版 vLLM 和 SGLang、vLLM 自带的 auto_tune、BentoML 的 llm-optimizer,以及各引擎文档推荐的设置。在 Qwen3.5-9B 上,它比所有这些方案至少快 1.8×。在 Gemma 4 12B 上,它找到了一种完全不同的技巧,比最好的专家设置快 1.5–1.7×。所有 1,319 道 GSM8K 题上的答案都站得住。

留出 prompt,8 个用户,输出 tok/srigtune原版 vLLM最佳其他工具最佳专家设置答案对比原版(95% 界,允许 −3)
Qwen3.5-9B,A100 SXM 80 GB1067–1071565581(llm-optimizer,SGLang)581(SGLang fp8 KV)−0.9 个百分点
Qwen3.5-9B,A40 48 GB478–479252262(llm-optimizer,vLLM)260(vLLM fp8 KV)−1.16 个百分点
Gemma 4 12B,A40 48 GB996–1143175175(auto_tune,llm-optimizer)667(vLLM n-gram)−0.83 个百分点

胜出的是什么。在 Qwen 上是模型自带的多 token 预测(MTP)头,它就在 checkpoint 里,默认关闭。在 Gemma 上是后缀解码(suffix decoding),它会复用 prompt 里的文本。不同的模型,不同的赢家。这正是要测量而不是靠猜的全部理由。

先别急着兴奋,以下这些是它没有展示的:

  • 在 Qwen 上,大部分收益来自那一个设置。如果你读了模型卡,自己就能把 MTP 打开,而专家设置里没有一行这么做。打开之后,SGLang 在标定中达到了 937–948 tok/s,所以一个细心的工程师手动就能补上大部分差距。
  • Gemma 的收益取决于你的 prompt。后缀解码在答案从上下文里抄的时候效果最好,所以在开放式聊天里别指望有这么多。
  • 我只测了 1–8 个用户。在这个负载下,其他工具搜索的批处理设置还发挥不出来。
  • 两个模型、两张 Ampere 卡,没有 MoE 模型。如果你的硬件不同,我真心想知道它在哪里会崩。

怎么测的。vLLM 0.33.0 和 SGLang 0.5.23。rigtune 在 300 条 Dolly prompt 上调优,然后每一行都在它没见过的 300 条 prompt 上,交错着测了三次。其他每个工具都拿到同样的卡、同样的时段和同样的延迟限制。我也试了 AIConfigurator,但它没有 A40 或 Qwen3.5 混合层的数据,所以给不出答案。

为什么答案检查很重要。我第一次跑的时候,每一行在 GSM8K 上都是大约 18%,包括原版。Qwen3.5 默认会思考,每个答案都在思考中途把 token 用完了。我差点把这读成“提速破坏了准确率”。现在只要 chat template 有开关,rigtune 就会在评分时关掉思考。A100 的答案是比较本身评的。A40 的答案是用提交在结果旁边的脚本评的,因为那次跑在修复之前。

原始文件在 benchmarks/sessions/2026-11。完整方法和限制在 docs/benchmarks.md。

Llama 3.1 8B 上的更早结果

在 2026 年的模型出来之前,我在 vLLM 0.29 上跑了 Llama 3.1 8B,把 rigtune 和一个固定经验规则做了对比——就是那种有经验的工程师不测量就设出来的东西:

Llama 3.1 8B,留出 promptrigtune固定经验规则 †(原版默认)
RTX 40901041 tok/s667( +56% )SGLang 448
A1001155 tok/s674( +71% )vLLM 726
A40506 tok/s257( +97% )vLLM 262

† 规则:fp8 权重的 KV 缓存、短上下文、batch 256。在两张 Ampere 卡上,它比什么都不改还要慢,因为在这些卡上 fp8 KV 缓存会损失吞吐量。一条在某一款卡上正确的规则,换到下一款卡上就可能出错(完整会话)。

一路上我还学到几件事:

  • 你的流量和你的卡同样重要。在一张 A40 上跑 Qwen2.5-3B 时,赢家会随提示词变化:在 Dolly 上后缀解码胜出(比原版 +122%),在新闻文章抽取上用草稿模型(+66.5%),在真实聊天上用 fp8 KV 缓存(+10%)。
  • 校准很快就能回本。每个模型和工作负载需要 22–56 分钟,而这段时间在繁忙服务 0.5–2.6 小时后就赚回来了。
  • 测量比搜索顺序更重要。在同等时间下,随机采样在三张 8B 卡上都追平了 rigtune 的分阶段搜索。在一个 fp8 的 14B 模型上,分阶段搜索以 4.4% 胜出(见证据)。我保留了分阶段搜索,因为它每次运行都给出相同答案,每种策略至少尝试一次,并记录下每个设置值多少。

所有结果,连同方法、消融、质量检查和局限:docs/benchmarks.md。

这和 auto_tune、llm-optimizer 以及 AIConfigurator 有什么不同?

  • vLLM 的 auto_tune 和 BentoML 的 llm-optimizer 扫的是一个引擎的批处理旋钮,比如批大小上限和批处理 token 预算,在某个延迟目标下找最佳设置。我在上面把两者都正面对比了。rigtune 把引擎本身也当作变量,和精度、KV 缓存类型、投机解码并列,而这些维度承载了几乎全部的收益。在一张 RTX 4090 上,SGLang 在早期试验中领先,vLLM 只有在试过投机解码和量化缓存之后才反超。只调优早期领先者,会丢掉最终赢家。
  • AIConfigurator 用它按 GPU 收集的性能数据来预测一个部署。它非常便宜,因为它什么都不启动,但它只能对它有数据的卡和模型层给出答案,而在这些运行里它都没有数据。rigtune 则靠测量。每个工作负载要花 20–60 分钟,但答案针对你的提示词。我也尝试过拟合我自己的预测器:它在 25 个实测配置中把真正赢家排在中位数第 15 位,所以预测在这里只是过滤器,从来不是决策(原因)。
  • 诚实的差距:本项目之外还没有人运行过 rigtune。如果你运行了,请开一个 issue 说说你得到的结果,好坏都行。

快速开始


        pip install rigtune
pip install "vllm==0.33.0"     # ran on driver 595; 0.29.0 needs 580+; older drivers: "vllm==0.11.0" "transformers>=4.56,<5"
rigtune serve Qwen/Qwen2.5-3B-Instruct --workload chat
curl localhost:8000/v1/chat/completions -H 'content-type: application/json' \
  -d '{"model":"Qwen/Qwen2.5-3B-Instruct","messages":[{"role":"user","content":"hi"}]}'
      

首次启动会进行校准,并把结果缓存给这台机器、这个模型、目标和工作负载。之后它就直接开始服务。要针对你自己的流量调优,用 --workload-file prompts.jsonl 传入一段样本,每行一个提示词。加上 --speculative all 还能尝试 checkpoint 自带的 MTP 头和草稿模型。

可选附加项:

  • 后缀解码需要为运行 vLLM 的那个 Python 构建 arctic-inference:CMAKE_ARGS="-DPython_EXECUTABLE=$(python -c 'import sys; print(sys.executable)')" python -m pip install --no-cache-dir --force-reinstall arctic-inference==0.1.1(各部分原因)。
  • SGLang 可以放在它自己的环境里:把 SGLANG_PYTHON 设成它的 python。
  • llama.cpp 需要带 CUDA 构建的 llama-server,在 PATH 上或放在 LLAMA_SERVER 中。

用 Docker(基于官方 vLLM 镜像构建):


        docker build -t rigtune .
docker run --gpus all --ipc=host -p 8000:8000 -v ~/.cache/huggingface:/root/.cache/huggingface \
  -v ~/.rigtune:/root/.rigtune rigtune serve Qwen/Qwen2.5-3B-Instruct
      

支持的硬件

Linux,Python 3.10–3.13。

文章标题:我做了一个工具,为你的 GPU 找出服务 LLM 的最快方式

正文:

  • 计算能力 7.5 或更新的 NVIDIA GPU 可运行 vLLM、SGLang 和 llama.cpp。我在 A40、A100、H100 NVL、L4 和 RTX 4090 上做过测量。
  • 较旧的 NVIDIA GPU 和 x86 CPU 可运行 llama.cpp。
  • 从未基准测试:vLLM-CPU 和 Turing 之前的 GPU(详情)。

已用 vLLM 0.11.0、0.29.0 和 0.33.0 以及 SGLang 0.5.19 和 0.5.23 检查过。rigtune probe 会列出它们。其他任何版本都会收到警告,而不是拒绝。

可选的校准和服务控制:safeguards。

了解更多

  • docs/benchmarks.md:每个结果,既有概览也有完整版,包含方法、消融、质量、限制以及尚未测量的内容。
  • docs/usage.md:校准如何工作、工作负载、目标、每个搜索选项以及 CLI。
  • docs/writeup.md:内存规划器、校准和预测器的设计,证据支持什么、不支持什么,以及路线图。
  • docs/decisions.md:每个选择为何如此,包括为何不只是随机搜索,以及决定这一点的测量结果。
  • benchmarks/strategies/SUMMARY.md:每张表,从原始 JSON 重新生成。
  • CONTRIBUTING.md:开发环境搭建、测试以及添加后端。

MIT 许可。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗