Newshot

WavePP:前缀复用下的高吞吐流水线并行 LLM 预填充

Translation(model translation, not the source's own text)

计算机科学 > 分布式、并行与集群计算

标题:WavePP:前缀复用下的高吞吐流水线并行 LLM 预填充

摘要:流水线并行可以通过在模型的不同阶段并发处理多个请求块来提高预填充吞吐量。然而,保持流水线充分利用需要高效的调度和请求准备。在各阶段独立保留和逐出缓存状态的系统中,本地缓存命中并不能保证同一前缀可以在整个流水线中复用。此时,协调开销可能阻碍请求准入节奏,从而降低整体吞吐量。本文提出 WavePP,一个构建在 TensorRT-LLM 之上的预填充运行时,通过将请求准入与流水线执行重叠来应对这些挑战。WavePP 异步查找可在所有阶段复用的前缀,保护缓存状态,并为剩余输入预留空间,同时较早的请求继续执行。随后,它动态规划每个请求的块大小,以最大化流水线填充。每个阶段随后在执行请求前完成本地准备。在相同的系统和流水线拓扑下,WavePP 在 GLM 5.2 和 MiniMax M2.7 的 40 个测试设置中的 37 个里提升了 TensorRT-LLM 的预填充吞吐量。在并发数为 128 且缓存复用率高的场景下,这些改动分别将吞吐量提升 2.91 倍和 2.02 倍。在 28 个 Kimi K3 设置中,与来自 TRT-LLM、SGLang 和 vLLM 的张量/专家并行及流水线并行基线相比,WavePP 在并发数为 8 或更高的全部 18 个设置中也具有最高的实测吞吐量。
评论:33 页,14 幅图,11 张表
主题:分布式、并行与集群计算 (cs.DC) ;人工智能 (cs.AI)
引用为:arXiv:2609.35263 [cs.DC]
(或此版本的 arXiv:2609.35263v1 [cs.DC])
https://doi.org/10.48550/arXiv.2609.35263 arXiv 颁发的 DOI(通过 DataCite)

提交历史

访问论文:

  • HTML(实验性)

附加功能

  • 音频摘要

当前浏览上下文:

参考文献与引用

  • Google Scholar
  • Semantic Scholar

BibTeX 格式引用

书签

文献与引用工具

与本文相关的代码、数据和媒体

演示

推荐与搜索工具

arXivLabs:与社区合作者开展的实验性项目

arXivLabs 是一个框架,允许合作者直接在我们的网站上开发和分享新的 arXiv 功能。

与 arXivLabs 合作的个人和组织都认同并接受了我们的价值观:开放、社区、卓越和用户数据隐私。arXiv 致力于这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有能为 arXiv 社区带来价值的项目想法?进一步了解 arXivLabs。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗