快速上手 · 基准测试 · 文档 · 内核 · 博客文章 · runanywhere.ai
TrnRT 是一个面向 AWS Trainium 上大型语言模型的开源推理引擎。它从一台 trn2.48xlarge 提供 OpenAI 兼容的 API,以 NKI megakernel 执行 decode(大约每半个层一个内核),并在设备与主机内存之间维护前缀缓存。GLM-5.3-Flash 是首个受支持的模型;更多开源模型即将到来。
我们是如何构建它的,以及 AgentX 的结果:用 NKI 层 megakernel 在一台 Trainium2 机器上服务 GLM-5.3-Flash。
亮点
| 特性 | 作用 |
|---|---|
| NKI megakernel | decode 时每半个层一个融合内核:KDA 注意力、融合的 DSA 层、mHC 以及 MoE FFN。 |
| 1M tokens 上下文 | 稀疏注意力(top 2,048)与线性注意力,状态大小固定。 |
| 前缀缓存 | 覆盖 FP8 KV 页的基数树,外加用于被淘汰页和状态检查点的主机内存层级。 |
| 每台机器两个引擎 | 每个引擎在 32 个逻辑 NeuronCore 上做张量并行,位于会话亲和的路由器之后。 |
| OpenAI API | Chat 与 completions、流式输出、工具调用和推理输出。 |
| 离线编译 | 每张计算图都在 CPU 主机上构建;服务机器加载它们,默认不做任何编译。 |
快速上手
你需要 Docker、一台用于服务的 trn2.48xlarge,以及任意一台用于编译的 x86_64 主机。初次接触 Trainium?请从 docs/AWS.md 开始。
- 构建镜像(Neuron SDK 2.32(neuronx-cc 2.27),Python 3.13)
git clone https://github.com/RunanywhereAI/trnrt.git && cd trnrt
docker build -f docker/Dockerfile \
--build-arg TRNRT_VERSION=$(python3 -c 'import trnrt; print(trnrt.__version__)') \
--build-arg TRNRT_REVISION=$(git rev-parse HEAD) -t trnrt .
- 构建编译缓存(任意 x86_64 主机,无需 NeuronCore;耗时数小时)
OUT=/data/trnrt REV=eb9eb208eb0d988989d07a6a12d0fdeb5f52574a
mkdir -p $OUT/nki $OUT/work
trnrt() { docker run --rm -e HF_TOKEN -v $OUT:$OUT \
-v $OUT/nki:/var/tmp/nki-intermediate-cache trnrt "$@"; }
trnrt compile shapes zai-org/GLM-5.3-Flash --revision $REV --out $OUT
trnrt compile decisions --model zai-org/GLM-5.3-Flash --revision $REV --out $OUT
trnrt compile capture --out $OUT -- --model $OUT/shapes
trnrt compile compile --out $OUT --work-root $OUT/work
trnrt compile strip --out $OUT
- 提供服务(在 trn2.48xlarge 上,并已复制好 $OUT/cache 和 $OUT/nki)
hf download zai-org/GLM-5.3-Flash --revision eb9eb208eb0d988989d07a6a12d0fdeb5f52574a \
--local-dir /models/GLM-5.3-Flash
docker run --rm --privileged --network host --ipc=host \
-v /data/trnrt/cache:/cache \
-v /data/trnrt/nki:/var/tmp/nki-intermediate-cache \
-v /models/GLM-5.3-Flash:/model \
-e NEURON_LIBTORCH_CACHE_ROOT=/cache \
trnrt serve --model /model --port 8000
- 用任意 OpenAI 客户端调用它
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="unused")
reply = client.chat.completions.create(
model="glm",
messages=[{"role": "user", "content": "Write a haiku about Trainium."}],
extra_body={"session_id": "my-session"}, # keeps a conversation on one engine's prefix cache
)
print(reply.choices[0].message.content)
文章标题:Show HN: TrnRT – 一个面向 AWS Trainium 的开源 LLM 推理引擎
正文: 完整指南涵盖了每一步所需的内容、启动检查、batch 4、8 和 12 配置以及每一个 flag:部署 · API · 配置。
支持的硬件和模型
| 目标 | 状态 |
|---|---|
| AWS Trainium2,trn2.48xlarge(16 芯片,2 个引擎 × TP 32,LNC 2) | ✅ 支持 |
| GLM-5.3-Flash(320B MoE,18B 激活,FP8,1M token 上下文) | ✅ 支持 |
| 更多开源模型 | 🔜 即将推出。申请模型 |
GLM-5.3-Flash 是 TrnRT 的起点。引擎、路由、缓存和编译流水线已构建为可承载更多模型系列,docs/ARCHITECTURE.md 描述了接入新模型所需的内容。
基准测试
SemiAnalysis AgentX 回放真实的编码代理会话。一台 trn2.48xlarge 在 1M token 上下文、32 个并发代理下运行,每个数据点持续一小时:
| Decode batch | 请求数 / 分钟 | Tokens / 分钟 | 每用户 Decode tok/s(p50) | 首 token,已缓存(p50) | $ / 百万 tokens(spot) |
|---|---|---|---|---|---|
| 4 | 19.3 | 2.36M | 46.6 | 76.73 s | $0.061 |
| 8 | 25.2 | 3.02M | 29.4 | 28.82 s | $0.047 |
| 12(默认) | 28.9 | 3.57M | 22.3 | 6.53 s | $0.040 |
Tokens 计入输入(包括已缓存的输入)和输出。Spot 价格:$8.60/h,us-east-2,2026 年 11 月 3 日。在价格为 $35.76/h 的 capacity block 上,batch 12 的成本为每百万 tokens $0.167。完整表格、冷 prompt 延迟、长 prompt 和方法论见 docs/RESULTS.md。
这些数字是用较早构建版本的 TrnRT 测得的。本仓库针对该构建通过了以下检查(docs/KNOWN_ISSUES.md):
- 图等价性:在全部 32 个 rank 上与 EQUAL,覆盖该构建在默认 batch-12 配置下编译的全部 157 个图。
- 输出:在 384 个请求中的 384 个上与该构建的输出逐字节一致。
- 服务:Quickstart 中的双引擎 serve 端到端通过。
工作原理
这里的 decode 不受内存带宽限制;小指令、kernel 边界和暴露的 collective 主导了它。因此每个 decode megakernel 遵循三条规则:将工作集保留在 SBUF 中、对称地使用两个物理核心、将 collective 移入 kernel。docs/MEGAKERNELS.md 逐一讲解了每个 kernel。
仓库布局
trnrt/
├── __main__.py CLI: serve, engine, compile
├── serve/ OpenAI API, session-affine router, output parsers
├── engine/ scheduler, prefix caches, tensor parallelism
├── models/ GLM-5.3-Flash: KDA, DSA, mHC, MoE, FP8 loading
├── kernels/ NKI decode megakernels and prefill kernels
└── compile/ offline compile: shapes, capture, neuronx-cc, strip
docker/ the serving and compile image
tools/ graph-equivalence gate, device checks, doc checks
tests/ CPU test suite (no NeuronCore needed)
docs/ guides, results, kernel notes
更多内容见 docs/ARCHITECTURE.md。
开发
make dev # editable install with test and lint tools (Python 3.13)
make check # lint, type-check, then the CPU test suite
测试层级和 CI 见 docs/DEVELOPMENT.md,提交改动见 CONTRIBUTING.md(pull request 目标为 development 分支),获取帮助见 SUPPORT.md,报告漏洞见 SECURITY.md。
AWS 资源
| 资源 | 链接 |
|---|---|
| Trainium2 和 trn2 实例 | aws.amazon.com/ec2/instance-types/trn2 |
| AWS Neuron SDK 文档 | awsdocs-neuron.readthedocs-hosted.com |
| NKI (Neuron Kernel Interface) | NKI 文档 |
| Neuron 深度学习容器 | github.com/aws-neuron/deep-learning-containers |
| 面向 ML 的 EC2 Capacity Blocks | aws.amazon.com/ec2/capacityblocks |
致谢
感谢 AWS Neuron 团队提供 NKI 及其文档,感谢 Z.ai 发布 GLM-5.3-Flash,感谢 SemiAnalysis 提供 AgentX 及其公开 trace。TrnRT 包含源自其他 Apache-2.0 项目的代码:参见 NOTICE 和 THIRD_PARTY_NOTICES.md。
许可证
Apache License 2.0。
由 RunAnywhere 构建。
AWS、Amazon Web Services、Trainium、Inferentia 和 Neuron 是 Amazon.com, Inc. 或其关联公司的商标。此处的 AWS 徽标按 AWS 的 Architecture Icons 中发布的形式呈现。TrnRT 是一个独立的开源项目,不隶属于 Amazon Web Services,也未获得其认可。