借助分布式 KV 缓存 agent skill 降低自托管 LLM 的成本与延迟
越来越多的客户在 GPU 上自托管大语言模型(LLM),以便掌控成本、准确性和延迟。然而,自托管往往意味着要为重复的 GPU 计算付费,因为每台服务器上小而孤立的缓存无法容纳或共享 AI agent 和聊天应用反复发送的不断增长的上下文。设想一个法律 AI 助手,每次对话中可能累积数十万个 token 的案件历史。当律师午饭后再回到某个对话线程时,LLM 的响应可能需要数分钟。接手该请求的 GPU 服务器内存中并没有这段历史。因此,GPU 要先为所有这些 token 重新计算键值(KV)注意力状态——这一步骤称为 prefill——然后才能写出第一个字。同样的模式也会拖慢恢复运行的编码 agent、agentic AI 助手和文档问答助手。借助 Amazon ElastiCache 的分布式 KV 缓存,可将自托管 LLM 推理成本降低最多 40%,将首 token 时间(TTFT)降低最多 80%。分布式 KV 缓存用位于 GPU 集群旁的共享层扩展了 GPU 本地缓存,使任何服务器都能在数天内跨会话、路由变化和服务器故障复用 KV 状态。“Announcing distributed KV caching for self-hosted LLMs with Amazon ElastiCache”一文深入介绍了技术细节和性能基准。
本文详细介绍 Agent Toolkit for AWS 中的分布式 KV 缓存 skill。借助该 skill,你可以在编码 agent 中通过几条提示词评估并配置分布式 KV 缓存。该 skill 会引导 agent 检查你的工作负载是否能从分布式 KV 缓存中获益、为测试或生产工作负载搭建缓存集群,以及排查 LLM 推理缓存问题。该 skill 适用于 Kiro、Claude Code、OpenAI Codex 以及其他支持 Agent Skills 的编码 agent。我们通过四段对话来演示该 skill 的工作方式:诊断首 token 缓慢、估算缓存容量与定价、完成配置,以及修复失败的传输。
为什么要为 KV 缓存提供 skill,它能做什么?
你的工作负载能获得多少收益,取决于所用 LLM 模型、用户流量模式和提示词路由选择等特征,且可能难以估算。我们创建了 KVTrace 工具,让你在部署任何基础设施之前,基于自己的模型和流量免费获得接近实际的收益估算。该 skill 简化了这一评估和配置过程,并在做出任何改动之前引导你的编码 agent 遵循以下最佳实践:
- 在任何花费之前先做适配检查。agent 通过只读的 describe-instances 调用读取你的 GPU 集群,并统计 Elastic Fabric Adapter(EFA)接口数量。它只询问它看不到的信息:引擎、模型、张量并行(TP)大小、KV 数据类型、服务器价格以及提示词重复的频率。当某些条件不匹配时,它会停下来并给出解释。
- 基于你自己的工作负载得出数字。对于短提示词,加载 KV 状态可能比重新计算更耗时。超过某个提示词长度(切换点)后,读取更划算。该切换点以及提示词的重复频率,决定了缓存是否物有所值。agent 使用 KVTrace 基于你自己的流量免费估算节省额,如果节省额无法覆盖缓存成本,它就会停止。每个数字都会说明其来源。
- 用你现有的技术栈管理推理服务器之间的配置。agent 将 LMCache connector 添加到现有的 vLLM 或 SGLang 引擎中,包括 llm-d 和 Ray Serve 等 serving 框架下的 vLLM worker。它保留你的路由和引擎设置,并将推理集群中的服务器统一为同一种 KV ID 机制(hash 和 seed)和明确的 KV 数据类型。设置一致可避免键不匹配,即各服务器写入的 KV 状态彼此无法找到。
文章标题:用分布式 KV 缓存 agent skill 降低自托管 LLM 的成本和延迟
正文:
- 遵循最佳实践。在生产流量到来之前,该 agent 会清空本地各层,并检查两次加载缓存的运行是否给出相同输出,因为布局不匹配可能产生看似健康的命中计数和错误答案。该 skill 会引导 agent 对高影响操作(例如创建、更改或删除资源)寻求明确批准。
前提条件
这些流程,从估算收益到设置,都需要以下条件:
- 支持 Agent Skills 的编码 agent,例如 Kiro 或 Claude Code。
- 支持 EFA RDMA 写入的 GPU 实例,例如 p5。
- LMCache 0.5.8rc1 或更高版本,以及 vLLM 0.11.1 或更高版本(SGLang 0.5.13 或更高版本)。
- ElastiCache for Valkey 9.1 或更高版本,运行在 cache.i8ge.48xlarge 节点上(如果设置缓存)。
流程 1:分布式 KV 缓存有帮助吗?
我们给 agent 提供了这个提示:“我的 vLLM 集群在 p5 实例上为一位法律助理提供 64K token 上下文的服务。返回对话时首个 token 需要 13 秒,因为 GPU 每一轮都会重新计算完整的对话历史。我该如何解决这个问题?”
该 agent 将请求匹配到该 skill,并在 Kiro 中加载它之前请求批准。答案指出延迟是由冷 prefill 造成的,答案中有三点对真实部署很重要。第一,它检查了不需要新基础设施的修复方法。如果你关闭了前缀缓存,重新开启它可以加快连续轮次。如果 GPU 前缀缓存命中率在会话亲和性下已经高于 90%,你可能不需要共享 KV 缓存。第二,它识别出法律 AI 助理特有的约束。共享 KV 缓存可能让一个租户通过响应时间判断另一个租户是否发送了相同的文本。必须保持隔离的用例使用单独的缓存,而共享缓存的租户会在 KV 哈希中加入自己的 ID。第三,它不猜测大小。它会询问模型和 TP 大小、KV 数据类型、副本数量和路由,以及用户在轮次之间等待多长时间。

图 1:法律助理的诊断和提出的架构
流程 2:估算节省
为了估算节省,我们给 agent 提供了一个示例集群:8 个 p5 实例,为多轮检索增强生成(RAG)助理提供 64,000 token 的提示。该 agent 查询了 GPU 和缓存节点的价格,并从基准测试中推导出 prefill 速率和 KV 大小。最后,该 agent 建议使用两个 cache.i8ge.48xlarge 节点进行分布式 KV 缓存。下图显示了该 agent 的摘要及其使用的输入。

图 2:该 agent 的摘要和输入。它在 AWS 价格列表中查询了两种价格,并解释了它如何得出重算数字
我们没有提供缓存命中率,即缓存将服务的重算 token 所占比例。因此,该 agent 展示了各种场景,并建议运行 KVTrace 来确定缓存命中率。KVTrace 记录来自 vLLM 或 SGLang 的 KV 缓存事件。然后,它针对每个候选大小的共享 KV 缓存在离线状态下重放这些事件。记录器从不写入 token ID 或提示文本。跟踪记录包含块哈希和 token 计数。块哈希来自 token 内容,因此当你的提示敏感时,请传入 --anonymize-key-file。该 skill 会在每个 GPU 服务器上记录一个有代表性的时间窗口,例如一个完整的工作日。该 agent 还指出,只有当你运行更少的服务器或在相同的服务器上服务更多流量时,释放的 GPU 时间才能转化为金钱。

图 3:来自合成演示流量的 KVTrace 报告顶部。它推荐了能够达到节省上限 90% 的最小容量。
Flow 3:设置分布式 KV 缓存
我们向 agent 输入了这样的提示:“为 LLM 推理设置一个共享的 L2 KV 缓存,从零开始。”在创建任何内容之前,agent 会请求你确认,以便在你的可用区中按估算价格设置建议的缓存节点数量。确认后,它会创建具有 EFA 权限的正确安全组,以及一个 Valkey 9.1 集群,该集群使用带有缓存驱逐策略的自定义参数组。LMCache 会获得自己的缓存用户,密码存储在 AWS Secrets Manager 中。agent 会准备 GPU 服务器,并在每台 GPU 服务器上启动一个 LMCache 服务器。然后,它用一个小的测试对象检查集群,并确认重复的提示通过远程直接内存访问 (RDMA) 从缓存加载其 KV 状态。在 GPU 集群上,该 skill 会将测得的 L2 份额与 KVTrace 的预测进行对比。有关包含每条命令的完整设置,请参阅 Amazon ElastiCache 文档中的分布式 KV 缓存入门。
Flow 4:故障排除
提示:“我的 LMCache 服务器连接到 ElastiCache 集群,BLOB.RDMA_HELLO 成功,但实际数据传输失败。INFO largeobj 显示 rdma_write_errors 不断上升。出了什么问题?”
按照该 skill 的故障排除指南,agent 根据症状模式进行推理,并确定可能的原因是安全组阻止了其自身成员之间的 EFA 流量。它为你提供检查和修复该规则的命令。

图 4:agent 解释了症状,然后给出了检查和修复安全组的命令
开始使用
你可以从 Agent Toolkit for AWS 获取分布式 KV 缓存 skill 或 AWS MCP Server。然后描述你的问题,或让 AI agent 降低 GPU 集群的成本和延迟,即可开始使用。要了解有关使用 ElastiCache 进行分布式 KV 缓存的更多信息以及性能基准,请参阅 AWS 博客。你可以在 Amazon ElastiCache 文档中查看 AWS 命令行界面 (AWS CLI) 入门,并在 GitHub 仓库中了解更多关于 KVTrace 的信息。