rigtune
这个项目原来叫 PolyServe。我改了名,因为 2025 年的一篇论文已经用了这个名字。旧的 profile、结果和设置仍然可用(详情)。
我受够了靠猜来设定服务参数。每个指南的说法都不一样,在一张 GPU 上最快的方案,换一张往往更慢。所以我做了一个只做测量的工具。rigtune 会在你的卡上,用你的 prompt,逐一尝试不同引擎、权重精度、KV cache 类型和投机解码,然后把胜出的方案架在 OpenAI 兼容 API 后面提供服务。
2026 年 11 月,我拿它能找到的所有方案做了对比:原版 vLLM 和 SGLang、vLLM 自带的 auto_tune、BentoML 的 llm-optimizer,以及各引擎文档推荐的设置。在 Qwen3.5-9B 上,它比所有这些方案至少快 1.8×。在 Gemma 4 12B 上,它找到了一种完全不同的技巧,比最好的专家设置快 1.5–1.7×。所有 1,319 道 GSM8K 题上的答案都站得住。
| 留出 prompt,8 个用户,输出 tok/s | rigtune | 原版 vLLM | 最佳其他工具 | 最佳专家设置 | 答案对比原版(95% 界,允许 −3) |
|---|---|---|---|---|---|
| Qwen3.5-9B,A100 SXM 80 GB | 1067–1071 | 565 | 581(llm-optimizer,SGLang) | 581(SGLang fp8 KV) | −0.9 个百分点 |
| Qwen3.5-9B,A40 48 GB | 478–479 | 252 | 262(llm-optimizer,vLLM) | 260(vLLM fp8 KV) | −1.16 个百分点 |
| Gemma 4 12B,A40 48 GB | 996–1143 | 175 | 175(auto_tune,llm-optimizer) | 667(vLLM n-gram) | −0.83 个百分点 |
胜出的是什么。在 Qwen 上是模型自带的多 token 预测(MTP)头,它就在 checkpoint 里,默认关闭。在 Gemma 上是后缀解码(suffix decoding),它会复用 prompt 里的文本。不同的模型,不同的赢家。这正是要测量而不是靠猜的全部理由。
先别急着兴奋,以下这些是它没有展示的:
- 在 Qwen 上,大部分收益来自那一个设置。如果你读了模型卡,自己就能把 MTP 打开,而专家设置里没有一行这么做。打开之后,SGLang 在标定中达到了 937–948 tok/s,所以一个细心的工程师手动就能补上大部分差距。
- Gemma 的收益取决于你的 prompt。后缀解码在答案从上下文里抄的时候效果最好,所以在开放式聊天里别指望有这么多。
- 我只测了 1–8 个用户。在这个负载下,其他工具搜索的批处理设置还发挥不出来。
- 两个模型、两张 Ampere 卡,没有 MoE 模型。如果你的硬件不同,我真心想知道它在哪里会崩。
怎么测的。vLLM 0.33.0 和 SGLang 0.5.23。rigtune 在 300 条 Dolly prompt 上调优,然后每一行都在它没见过的 300 条 prompt 上,交错着测了三次。其他每个工具都拿到同样的卡、同样的时段和同样的延迟限制。我也试了 AIConfigurator,但它没有 A40 或 Qwen3.5 混合层的数据,所以给不出答案。
为什么答案检查很重要。我第一次跑的时候,每一行在 GSM8K 上都是大约 18%,包括原版。Qwen3.5 默认会思考,每个答案都在思考中途把 token 用完了。我差点把这读成“提速破坏了准确率”。现在只要 chat template 有开关,rigtune 就会在评分时关掉思考。A100 的答案是比较本身评的。A40 的答案是用提交在结果旁边的脚本评的,因为那次跑在修复之前。
原始文件在 benchmarks/sessions/2026-11。完整方法和限制在 docs/benchmarks.md。
Llama 3.1 8B 上的更早结果
在 2026 年的模型出来之前,我在 vLLM 0.29 上跑了 Llama 3.1 8B,把 rigtune 和一个固定经验规则做了对比——就是那种有经验的工程师不测量就设出来的东西:
| Llama 3.1 8B,留出 prompt | rigtune | 固定经验规则 † | (原版默认) |
|---|---|---|---|
| RTX 4090 | 1041 tok/s | 667( +56% ) | SGLang 448 |
| A100 | 1155 tok/s | 674( +71% ) | vLLM 726 |
| A40 | 506 tok/s | 257( +97% ) | vLLM 262 |
† 规则:fp8 权重的 KV 缓存、短上下文、batch 256。在两张 Ampere 卡上,它比什么都不改还要慢,因为在这些卡上 fp8 KV 缓存会损失吞吐量。一条在某一款卡上正确的规则,换到下一款卡上就可能出错(完整会话)。
一路上我还学到几件事:
- 你的流量和你的卡同样重要。在一张 A40 上跑 Qwen2.5-3B 时,赢家会随提示词变化:在 Dolly 上后缀解码胜出(比原版 +122%),在新闻文章抽取上用草稿模型(+66.5%),在真实聊天上用 fp8 KV 缓存(+10%)。
- 校准很快就能回本。每个模型和工作负载需要 22–56 分钟,而这段时间在繁忙服务 0.5–2.6 小时后就赚回来了。
- 测量比搜索顺序更重要。在同等时间下,随机采样在三张 8B 卡上都追平了 rigtune 的分阶段搜索。在一个 fp8 的 14B 模型上,分阶段搜索以 4.4% 胜出(见证据)。我保留了分阶段搜索,因为它每次运行都给出相同答案,每种策略至少尝试一次,并记录下每个设置值多少。
所有结果,连同方法、消融、质量检查和局限:docs/benchmarks.md。
这和 auto_tune、llm-optimizer 以及 AIConfigurator 有什么不同?
- vLLM 的 auto_tune 和 BentoML 的 llm-optimizer 扫的是一个引擎的批处理旋钮,比如批大小上限和批处理 token 预算,在某个延迟目标下找最佳设置。我在上面把两者都正面对比了。rigtune 把引擎本身也当作变量,和精度、KV 缓存类型、投机解码并列,而这些维度承载了几乎全部的收益。在一张 RTX 4090 上,SGLang 在早期试验中领先,vLLM 只有在试过投机解码和量化缓存之后才反超。只调优早期领先者,会丢掉最终赢家。
- AIConfigurator 用它按 GPU 收集的性能数据来预测一个部署。它非常便宜,因为它什么都不启动,但它只能对它有数据的卡和模型层给出答案,而在这些运行里它都没有数据。rigtune 则靠测量。每个工作负载要花 20–60 分钟,但答案针对你的提示词。我也尝试过拟合我自己的预测器:它在 25 个实测配置中把真正赢家排在中位数第 15 位,所以预测在这里只是过滤器,从来不是决策(原因)。
- 诚实的差距:本项目之外还没有人运行过 rigtune。如果你运行了,请开一个 issue 说说你得到的结果,好坏都行。
快速开始
pip install rigtune
pip install "vllm==0.33.0" # ran on driver 595; 0.29.0 needs 580+; older drivers: "vllm==0.11.0" "transformers>=4.56,<5"
rigtune serve Qwen/Qwen2.5-3B-Instruct --workload chat
curl localhost:8000/v1/chat/completions -H 'content-type: application/json' \
-d '{"model":"Qwen/Qwen2.5-3B-Instruct","messages":[{"role":"user","content":"hi"}]}'
首次启动会进行校准,并把结果缓存给这台机器、这个模型、目标和工作负载。之后它就直接开始服务。要针对你自己的流量调优,用 --workload-file prompts.jsonl 传入一段样本,每行一个提示词。加上 --speculative all 还能尝试 checkpoint 自带的 MTP 头和草稿模型。
可选附加项:
- 后缀解码需要为运行 vLLM 的那个 Python 构建 arctic-inference:CMAKE_ARGS="-DPython_EXECUTABLE=$(python -c 'import sys; print(sys.executable)')" python -m pip install --no-cache-dir --force-reinstall arctic-inference==0.1.1(各部分原因)。
- SGLang 可以放在它自己的环境里:把 SGLANG_PYTHON 设成它的 python。
- llama.cpp 需要带 CUDA 构建的 llama-server,在 PATH 上或放在 LLAMA_SERVER 中。
用 Docker(基于官方 vLLM 镜像构建):
docker build -t rigtune .
docker run --gpus all --ipc=host -p 8000:8000 -v ~/.cache/huggingface:/root/.cache/huggingface \
-v ~/.rigtune:/root/.rigtune rigtune serve Qwen/Qwen2.5-3B-Instruct
支持的硬件
Linux,Python 3.10–3.13。
文章标题:我做了一个工具,为你的 GPU 找出服务 LLM 的最快方式
正文:
- 计算能力 7.5 或更新的 NVIDIA GPU 可运行 vLLM、SGLang 和 llama.cpp。我在 A40、A100、H100 NVL、L4 和 RTX 4090 上做过测量。
- 较旧的 NVIDIA GPU 和 x86 CPU 可运行 llama.cpp。
- 从未基准测试:vLLM-CPU 和 Turing 之前的 GPU(详情)。
已用 vLLM 0.11.0、0.29.0 和 0.33.0 以及 SGLang 0.5.19 和 0.5.23 检查过。rigtune probe 会列出它们。其他任何版本都会收到警告,而不是拒绝。
可选的校准和服务控制:safeguards。
了解更多
- docs/benchmarks.md:每个结果,既有概览也有完整版,包含方法、消融、质量、限制以及尚未测量的内容。
- docs/usage.md:校准如何工作、工作负载、目标、每个搜索选项以及 CLI。
- docs/writeup.md:内存规划器、校准和预测器的设计,证据支持什么、不支持什么,以及路线图。
- docs/decisions.md:每个选择为何如此,包括为何不只是随机搜索,以及决定这一点的测量结果。
- benchmarks/strategies/SUMMARY.md:每张表,从原始 JSON 重新生成。
- CONTRIBUTING.md:开发环境搭建、测试以及添加后端。
MIT 许可。