Newshot

Show HN:TrnRT – 一个面向 AWS Trainium 的开源 LLM 推理引擎

Translation(model translation, not the source's own text)
TrnRT:由 RunAnywhere 打造的面向 AWS Trainium 的开源 LLM 推理引擎
TrnRT:由 RunAnywhere 打造的面向 AWS Trainium 的开源 LLM 推理引擎
CI
CI
OpenSSF Scorecard
OpenSSF Scorecard

快速上手 · 基准测试 · 文档 · 内核 · 博客文章 · runanywhere.ai

TrnRT 是一个面向 AWS Trainium 上大型语言模型的开源推理引擎。它从一台 trn2.48xlarge 提供 OpenAI 兼容的 API,以 NKI megakernel 执行 decode(大约每半个层一个内核),并在设备与主机内存之间维护前缀缓存。GLM-5.3-Flash 是首个受支持的模型;更多开源模型即将到来。

我们是如何构建它的,以及 AgentX 的结果:用 NKI 层 megakernel 在一台 Trainium2 机器上服务 GLM-5.3-Flash。

单台 trn2.48xlarge 上每分钟 3.57M tokens(AgentX,batch 12)。batch-8 的 decode 步骤耗时 24 ms,相比使用 NKI megakernel 之前的 32.2 ms 有所下降。按现货价格每百万 tokens 0.040 美元,按容量块价格 0.167 美元。
单台 trn2.48xlarge 上每分钟 3.57M tokens(AgentX,batch 12)。batch-8 的 decode 步骤耗时 24 ms,相比使用 NKI megakernel 之前的 32.2 ms 有所下降。按现货价格每百万 tokens 0.040 美元,按容量块价格 0.167 美元。

亮点

特性作用
NKI megakerneldecode 时每半个层一个融合内核:KDA 注意力、融合的 DSA 层、mHC 以及 MoE FFN。
1M tokens 上下文稀疏注意力(top 2,048)与线性注意力,状态大小固定。
前缀缓存覆盖 FP8 KV 页的基数树,外加用于被淘汰页和状态检查点的主机内存层级。
每台机器两个引擎每个引擎在 32 个逻辑 NeuronCore 上做张量并行,位于会话亲和的路由器之后。
OpenAI APIChat 与 completions、流式输出、工具调用和推理输出。
离线编译每张计算图都在 CPU 主机上构建;服务机器加载它们,默认不做任何编译。

快速上手

你需要 Docker、一台用于服务的 trn2.48xlarge,以及任意一台用于编译的 x86_64 主机。初次接触 Trainium?请从 docs/AWS.md 开始。

  1. 构建镜像(Neuron SDK 2.32(neuronx-cc 2.27),Python 3.13)

        git clone https://github.com/RunanywhereAI/trnrt.git && cd trnrt
docker build -f docker/Dockerfile \
  --build-arg TRNRT_VERSION=$(python3 -c 'import trnrt; print(trnrt.__version__)') \
  --build-arg TRNRT_REVISION=$(git rev-parse HEAD) -t trnrt .
      
  1. 构建编译缓存(任意 x86_64 主机,无需 NeuronCore;耗时数小时)

        OUT=/data/trnrt REV=eb9eb208eb0d988989d07a6a12d0fdeb5f52574a
mkdir -p $OUT/nki $OUT/work
trnrt() { docker run --rm -e HF_TOKEN -v $OUT:$OUT \
  -v $OUT/nki:/var/tmp/nki-intermediate-cache trnrt "$@"; }
trnrt compile shapes zai-org/GLM-5.3-Flash --revision $REV --out $OUT
trnrt compile decisions --model zai-org/GLM-5.3-Flash --revision $REV --out $OUT
trnrt compile capture --out $OUT -- --model $OUT/shapes
trnrt compile compile --out $OUT --work-root $OUT/work
trnrt compile strip --out $OUT
      
  1. 提供服务(在 trn2.48xlarge 上,并已复制好 $OUT/cache 和 $OUT/nki)

        hf download zai-org/GLM-5.3-Flash --revision eb9eb208eb0d988989d07a6a12d0fdeb5f52574a \
  --local-dir /models/GLM-5.3-Flash
docker run --rm --privileged --network host --ipc=host \
  -v /data/trnrt/cache:/cache \
  -v /data/trnrt/nki:/var/tmp/nki-intermediate-cache \
  -v /models/GLM-5.3-Flash:/model \
  -e NEURON_LIBTORCH_CACHE_ROOT=/cache \
  trnrt serve --model /model --port 8000
      
  1. 用任意 OpenAI 客户端调用它

        from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="unused")
reply = client.chat.completions.create(
    model="glm",
    messages=[{"role": "user", "content": "Write a haiku about Trainium."}],
    extra_body={"session_id": "my-session"},  # keeps a conversation on one engine's prefix cache
)
print(reply.choices[0].message.content)
      

文章标题:Show HN: TrnRT – 一个面向 AWS Trainium 的开源 LLM 推理引擎

正文: 完整指南涵盖了每一步所需的内容、启动检查、batch 4、8 和 12 配置以及每一个 flag:部署 · API · 配置。

支持的硬件和模型

硬件:AWS Trainium2(trn2.48xlarge,16 芯片,每芯片 96 GiB HBM,Neuron SDK 2.32),支持。模型:GLM-5.3-Flash(320B MoE,18B 激活,FP8,1M token 上下文),支持。更多开源模型:即将推出。
硬件:AWS Trainium2(trn2.48xlarge,16 芯片,每芯片 96 GiB HBM,Neuron SDK 2.32),支持。模型:GLM-5.3-Flash(320B MoE,18B 激活,FP8,1M token 上下文),支持。更多开源模型:即将推出。
目标状态
AWS Trainium2,trn2.48xlarge(16 芯片,2 个引擎 × TP 32,LNC 2)✅ 支持
GLM-5.3-Flash(320B MoE,18B 激活,FP8,1M token 上下文)✅ 支持
更多开源模型🔜 即将推出。申请模型

GLM-5.3-Flash 是 TrnRT 的起点。引擎、路由、缓存和编译流水线已构建为可承载更多模型系列,docs/ARCHITECTURE.md 描述了接入新模型所需的内容。

基准测试

SemiAnalysis AgentX 回放真实的编码代理会话。一台 trn2.48xlarge 在 1M token 上下文、32 个并发代理下运行,每个数据点持续一小时:

Decode batch请求数 / 分钟Tokens / 分钟每用户 Decode tok/s(p50)首 token,已缓存(p50)$ / 百万 tokens(spot)
419.32.36M46.676.73 s$0.061
825.23.02M29.428.82 s$0.047
12(默认)28.93.57M22.36.53 s$0.040

Tokens 计入输入(包括已缓存的输入)和输出。Spot 价格:$8.60/h,us-east-2,2026 年 11 月 3 日。在价格为 $35.76/h 的 capacity block 上,batch 12 的成本为每百万 tokens $0.167。完整表格、冷 prompt 延迟、长 prompt 和方法论见 docs/RESULTS.md。

这些数字是用较早构建版本的 TrnRT 测得的。本仓库针对该构建通过了以下检查(docs/KNOWN_ISSUES.md):

  • 图等价性:在全部 32 个 rank 上与 EQUAL,覆盖该构建在默认 batch-12 配置下编译的全部 157 个图。
  • 输出:在 384 个请求中的 384 个上与该构建的输出逐字节一致。
  • 服务:Quickstart 中的双引擎 serve 端到端通过。

工作原理

客户端访问端口 8000 上的会话亲和路由器,路由器将每个会话发送到两个引擎之一。每个引擎在 8 个芯片上的 32 个逻辑 NeuronCore 上做张量并行。离线阶段,五个步骤构建引擎所加载的编译缓存。
客户端访问端口 8000 上的会话亲和路由器,路由器将每个会话发送到两个引擎之一。每个引擎在 8 个芯片上的 32 个逻辑 NeuronCore 上做张量并行。离线阶段,五个步骤构建引擎所加载的编译缓存。

这里的 decode 不受内存带宽限制;小指令、kernel 边界和暴露的 collective 主导了它。因此每个 decode megakernel 遵循三条规则:将工作集保留在 SBUF 中、对称地使用两个物理核心、将 collective 移入 kernel。docs/MEGAKERNELS.md 逐一讲解了每个 kernel。

仓库布局


        trnrt/
├── __main__.py   CLI: serve, engine, compile
├── serve/        OpenAI API, session-affine router, output parsers
├── engine/       scheduler, prefix caches, tensor parallelism
├── models/       GLM-5.3-Flash: KDA, DSA, mHC, MoE, FP8 loading
├── kernels/      NKI decode megakernels and prefill kernels
└── compile/      offline compile: shapes, capture, neuronx-cc, strip
docker/           the serving and compile image
tools/            graph-equivalence gate, device checks, doc checks
tests/            CPU test suite (no NeuronCore needed)
docs/             guides, results, kernel notes
      

更多内容见 docs/ARCHITECTURE.md。

开发


        make dev     # editable install with test and lint tools (Python 3.13)
make check   # lint, type-check, then the CPU test suite
      

测试层级和 CI 见 docs/DEVELOPMENT.md,提交改动见 CONTRIBUTING.md(pull request 目标为 development 分支),获取帮助见 SUPPORT.md,报告漏洞见 SECURITY.md。

AWS 资源

资源链接
Trainium2 和 trn2 实例aws.amazon.com/ec2/instance-types/trn2
AWS Neuron SDK 文档awsdocs-neuron.readthedocs-hosted.com
NKI (Neuron Kernel Interface)NKI 文档
Neuron 深度学习容器github.com/aws-neuron/deep-learning-containers
面向 ML 的 EC2 Capacity Blocksaws.amazon.com/ec2/capacityblocks

致谢

感谢 AWS Neuron 团队提供 NKI 及其文档,感谢 Z.ai 发布 GLM-5.3-Flash,感谢 SemiAnalysis 提供 AgentX 及其公开 trace。TrnRT 包含源自其他 Apache-2.0 项目的代码:参见 NOTICE 和 THIRD_PARTY_NOTICES.md。

许可证

Apache License 2.0。

由 RunAnywhere 构建。

AWS、Amazon Web Services、Trainium、Inferentia 和 Neuron 是 Amazon.com, Inc. 或其关联公司的商标。此处的 AWS 徽标按 AWS 的 Architecture Icons 中发布的形式呈现。TrnRT 是一个独立的开源项目,不隶属于 Amazon Web Services,也未获得其认可。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗