Amazon SageMaker AI 实时端点现支持 KV 缓存感知路由
今天,Amazon SageMaker AI 推出 KV 缓存感知路由(KV-aware routing),这是一种用于实时端点的新路由策略。它使用模型容器报告的缓存状态,把每个请求发送到一个已为其提示持有较长缓存匹配且不太繁忙的实例。它面向使用大型语言模型(LLM)提供多轮对话、长共享提示或高负载服务的团队。你在两个地方启用它:向模型添加一个环境变量,使容器报告其缓存内容;并在端点配置中将 RoutingStrategy 设置为 KV_AWARE。你的客户端仍像以前一样使用相同的 API 调用端点。
它解决的问题是:聊天助手、检索增强生成(RAG)以及带有长系统提示的代理等 LLM 应用,会发送许多以相同文本开头的请求。模型会把对提示所做的工作保存在 GPU 内存中,即 KV 缓存,并在相同的开头再次到达同一实例时跳过这项工作。在本系列第 1 部分中,我们介绍了 Amazon SageMaker AI 的前缀感知路由,它会把以相同方式开头的请求发送到同一实例。前缀感知路由仅根据请求推断前缀缓存的位置,因此无法判断实例何时已逐出该缓存。
前缀感知路由仅根据请求选择实例。它对请求开头进行哈希,直到你配置的 PrefixLength(InvokeEndpoint 负载的字节数,或 OpenAI 兼容 Chat Completions API 的消息文本字符数),并把以相同方式开头的请求发送到同一实例。它从不知道实例实际缓存了什么。当每个请求都以相同的共享文本开头时,这种方法效果很好,但在以下两种情况下效果较差:
实例上的缓存会随时间变化。当 GPU 内存填满时,实例会逐出较旧的 KV 缓存条目,但路由器仍会继续向那里发送匹配的请求,仿佛缓存仍然有效。
对话一开始很短。在多轮聊天中,每一轮都会增加历史记录。当请求仍短于 PrefixLength 时,每个新轮次都会改变路由器进行哈希的文本,因此下一轮可能落到与缓存了较早轮次的实例不同的实例上。只有当请求增长超过 PrefixLength 后,对话的各轮次才会留在同一个实例上。
在本文中,我们解释 KV 缓存感知路由如何工作、何时使用它,以及如何在单模型端点和推理组件端点上启用、调用和验证它。
KV 缓存感知路由的工作原理
KV 缓存感知路由包含三个部分:模型容器报告其已缓存的内容,SageMaker AI 为该端点维护该状态的托管缓存索引,端点使用该索引为每个请求选择实例。
当你通过 SM_VLLM_KV_EVENTS_CONFIG 启用事件后,容器每次存储或逐出缓存条目时都会发布一个 KV 缓存事件,SageMaker AI 使用这些事件保持索引最新。该索引只保存指针:缓存内容的单向、截断哈希,每个哈希映射到持有它的实例或推理组件副本。它从不存储提示、token ID、请求负载或 KV 张量。当请求到达时,端点会对提示进行 token 化,并在索引中查找这些 token。索引返回在其缓存中持有提示一部分的实例或推理组件副本,以及每个实例或副本持有其中多少内容。例如,如果实例 A 持有某段对话已缓存的开始部分,该对话的下一轮就会发往 A。由于索引基于 token 而不是固定字节数进行匹配,多轮历史在增长时可以完整匹配。即使请求只共享其提示的一部分,仍会发往匹配最长的实例。
端点随后在这些候选中进行选择,权衡每个候选已缓存多少提示词与其繁忙程度。过于繁忙的候选会被跳过,因此如果匹配最长的实例繁忙,请求会转到下一个可用的最佳候选。如果没有候选具有有用的匹配,或者所有候选都繁忙,请求会回退到负载感知路由,如「路由开销与回退」中所述。你不需要像使用前缀感知路由那样为此配置并发阈值。索引也会跟随实例集变化。当你缩容时,被移除实例的条目会被删除。当你扩容或更新替换实例时,新实例以空缓存启动,因此延迟可能在短时间内较高。

图 1:SageMaker AI 端点上的 KV 感知路由。路由器查询托管缓存索引,并将请求转发到持有最长缓存匹配的实例。每个实例都会将 KV 缓存事件报告回索引
在图 1 中,端点有三个实例 A、B 和 C。每个实例都在自己的模型容器中运行相同的模型(即「要求与限制」中列出的 AWS vLLM Deep Learning Container),并在 GPU 内存中拥有自己的 KV 缓存,因此每个实例持有不同的缓存内容:A 持有对话 1 的第 1 到第 3 轮,B 持有对话 2 和 3,C 持有文档 7。当对话 1 的第 4 轮到达时(步骤 1),路由器对其进行分词,并在托管缓存索引中查找(步骤 2)。索引显示 A 持有该请求 6,200 个 token 中的前 6,000 个,因此路由器将请求发送到 A(步骤 3),A 只需计算剩余的 token。如果 A 繁忙,路由器会将请求发送到最不繁忙的实例(步骤 4)。KV 感知路由需要多个可选目标,因此仅在至少有两个实例,或至少有两个推理组件副本时生效。只有一个实例时,每个请求都会发往该实例,此设置不起作用。
SageMaker AI 上的路由策略
通过本次发布,SageMaker AI 为实时端点提供四种路由策略。你在端点配置的 RoutingConfig 中为每个生产变体设置策略。
| 策略 | 路由方式 | 推荐用于 |
|---|---|---|
| RANDOM(默认) | 将每个请求发送到随机选择的实例。 | 通用工作负载、非 LLM 模型,以及可互换的请求。 |
| LEAST_OUTSTANDING_REQUESTS | 将每个请求发送到在途请求最少的实例。 | 处理时间可变、且希望所有实例保持同等繁忙程度的工作负载。 |
| PREFIX_AWARE | 将共享相同提示词前缀(最多到 PrefixLength)的请求发送到同一实例。在 ConcurrencyThreshold 处溢出到另一个实例。 | 请求开头固定位置存在共享文本的 LLM 工作负载,适用于任何支持前缀缓存的推理框架。 |
| KV_AWARE(新增) | 根据容器报告的缓存状态,将每个请求发送到持有匹配缓存前缀的实例,并权衡匹配长度与负载。回退到负载感知路由。 | 在受支持容器上运行、具有多轮对话、频繁缓存淘汰,或请求仅共享开头一部分的 LLM 工作负载。 |
前缀感知或 KV 感知
两种策略都会将请求发送到其前缀可能被缓存的位置。它们的区别在于如何得知该位置,以及需要你的容器提供什么。
Amazon SageMaker AI 实时端点现支持 KV cache 感知路由
| 前缀感知路由 | KV 感知路由 | |
|---|---|---|
| 缓存位置来源 | 根据请求前缀推断 | 由容器上报的缓存状态 |
| 每个请求增加的延迟 | 第 1 部分中为 1.3–1.9 毫秒 | 短提示为几毫秒,长提示更多,主要耗在 token 化上 |
| 匹配方式 | 前 PrefixLength 个字节(Invoke API)或字符(OpenAI-compatible API) | 按 token 匹配,最长的缓存匹配 |
| 参数 | PrefixLength、ConcurrencyThreshold | 无需参数 |
| 容器 | 任何开启前缀缓存的容器 | 受支持的容器,且开启前缀缓存和 KV cache 事件(见要求和限制) |
| 请求负载 | 任意 | OpenAI-compatible Completions 或 Chat Completions 格式 |
性能
我们通过两种方式将 KV 感知路由与随机路由进行对比:在生产规模实例上的大规模基准测试,以及一个更小、可复现的对比,你可以在“验证 KV 感知路由是否正常工作”中照做。
基准测试结果
在我们使用 Llama 3.1 70B Instruct 在七个 ml.p5.48xlarge 实例上进行的基准测试中,我们运行了 30 分钟测试,使用 20 或 100 个模拟用户进行多轮聊天和文档问答会话,提示最长约 64,000 个 token。与随机路由相比,在负载下使用长提示时,KV 感知路由将 p50 首 token 时间(TTFT)最多降低 97%,吞吐量最多提升 234%。它将 KV cache 命中率从 3–48% 提升到 80–93%。长提示即使在较低负载下也有收益。短提示的收益最小,因为可节省的 prefill 更少。结果取决于你的工作负载。要针对你自己的流量测量这些结果,请使用“验证 KV 感知路由是否正常工作”中的检查。
路由开销与回退
在路由请求之前,端点会对提示进行 token 化,并在托管缓存索引中查找。对于短提示,查找需要几毫秒;对于长提示则更久,主要耗时在 token 化上,但与缓存命中节省的时间相比仍然很小。对于使用标准选项的纯文本请求,它计算出的 token 会传给模型,因此提示不会被 token 化两次。
如果查找缓慢、未找到有用匹配,或所有匹配实例都忙,端点会使用负载感知路由来路由请求,其行为与 LEAST_OUTSTANDING_REQUESTS 策略相同。请求仍会被处理,但没有缓存收益。当端点无法对请求进行 token 化时也会如此,但“调用端点”中描述的两个错误情况除外。这些回退在发布时不会在 SageMaker AI 控制台或指标中报告,因此请使用“验证 KV 感知路由是否正常工作”中的检查,以确认路由对你的流量有效。
对于非常短的提示,可节省的 prefill 更少,因此前缀感知路由可能就足够了。
何时使用 KV 感知路由
前缀感知路由无需更改容器,但它无法看到实例实际持有的内容。KV 感知路由会询问容器持有什么,因此更精确。当有大量缓存上下文可复用且该缓存承受压力时,它就会带来收益:长提示、高负载,以及为 KV cache 提供的 GPU 内存不足的实例。发生
Amazon SageMaker AI 实时端点现已支持 KV cache 感知路由
例如,一个客服助手运行在三台实例上,每段对话都以相同的 6,000 token 知识库摘录开头。对话 1 从实例 A 开始,A 缓存了该摘录。流量上升,A 内存不足,容器驱逐了该摘录的大部分内容。实例 B 最近用同一摘录服务过另一段对话,仍保留其前 4,000 个 token。当对话 1 的下一轮到达时,prefix-aware 路由再次将其发送到 A,A 重新计算该摘录。使用 KV-aware 路由时,A 的容器已上报了这次驱逐,因此索引显示 B 持有最长匹配,请求被发往 B,B 只需重新计算剩余的 token。在低负载下,A 不会驱逐任何内容,两种策略都会把请求发往 A 且缓存完好。
当请求以固定长度前缀无法捕捉的方式复用缓存上下文时,KV-aware 路由最有帮助:
多轮对话:每一轮都会发送完整对话历史,因此缓存前缀会随每一轮增长。KV-aware 路由匹配整个缓存历史,并将每段对话保留在持有它的实例上。这对长对话最为重要。在托管缓存索引反映出一次驱逐后,路由器不会继续把对话发送到已经丢弃其缓存的实例。
共享上下文的高吞吐推理:RAG 应用会在前面拼接检索到的文档,助手会在每次请求中发送长系统提示。当这些提示很长且实例处于内存压力下时,KV-aware 路由适用。在共享前缀稳定且负载适中时,prefix-aware 路由也适用。把共享内容放在最前面并保持相同顺序:如果相同文档以不同顺序出现,提示就不再共享同一开头,因此不会匹配。
前缀长度难以调优的工作负载:使用 prefix-aware 路由时,你需要选择一个 PrefixLength,既能覆盖共享文本,又不会把本应留在一起的请求分散开。KV-aware 路由没有前缀长度需要调优,因为它基于实际缓存的内容进行匹配。
如果你的请求在开头共享稳定的系统提示或文档、提示较短,或负载适中,那么 prefix-aware 路由是合适的选择,且无需更改容器。在这些情况下,实例有足够的 GPU 内存来保留共享文本的缓存,因此两种策略都能找到它。如果你的容器不受 KV-aware 路由支持,也应选择 prefix-aware 路由,因为它适用于任何已开启前缀缓存的容器。如果你的请求较短且可互换,或者你的模型不是 LLM,那么可复用的缓存上下文很少,因此请使用 RANDOM 或 LEAST_OUTSTANDING_REQUESTS。
如果你不确定哪种更合适,请先从 prefix-aware 路由开始,针对 KV_AWARE 端点运行你自己的流量,并按照 Verify that KV-aware routing is working 中所述比较首 token 时间、吞吐量和命中率。
要求与限制
在启用 KV-aware 路由之前,请检查你的容器、端点和请求是否满足以下要求:
容器:发布时,KV-aware 路由支持 SageMaker AI 的 AWS vLLM Deep Learning Container:vLLM 0.33.0 或更高版本的镜像,或 Amazon Linux 构建 server-sagemaker-cuda-v2.8.0 或更高版本。前缀缓存必须开启(这是默认设置),并且必须通过 SM_VLLM_KV_EVENTS_CONFIG 环境变量开启 KV cache 事件,如 How to enable it 中所示。SageMaker AI 不会为你设置它。
端点和实例:GPU 实例类型上的实时单模型端点和推理组件端点,包括动态 Low-Rank Adaptation (LoRA) 适配器。你也可以通过 AWS CloudFormation 配置 KV-aware routing。仅当单模型端点至少有两个实例,或推理组件至少有两个副本(可以位于同一实例上)时,路由才会生效。少于这个数量时,你仍然可以设置 KV_AWARE,端点不会被拒绝,但每个请求都会发往唯一的实例或副本。
请求:OpenAI 兼容的 Completions 或 Chat Completions 载荷,通过 InvokeEndpoint、InvokeEndpointWithResponseStream 或 SageMaker AI OpenAI 兼容 Chat Completions API 发送。不支持 InvokeEndpointWithBidirectionalStream。如果你设置了 model 字段,它必须与 SM_VLLM_MODEL 的值一致。
SDK 版本:用于跟踪 KV 缓存命中率的详细可观测性需要 AWS Command Line Interface (AWS CLI) 2.35.6 或更高版本,或 Boto3 1.43.31 或更高版本。
SageMaker AI 会在你的端点开始处理流量之前检查这些要求。如果某项检查失败,请求或部署会失败,并给出说明缺失内容的提示信息。完整的设置列表、校验行为和配额,请参阅 SageMaker AI 文档。
如何启用
你在两个地方开启 KV-aware routing:模型和端点配置。示例 notebook 端到端地运行每一个步骤,涵盖单模型端点和推理组件端点两种情况。
- 在模型中开启 KV 缓存事件 – 创建模型时,向容器环境添加 SM_VLLM_KV_EVENTS_CONFIG。没有它,端点就没有可用于路由的缓存状态。此设置中的端口仅在实例内部使用,因此你无需将它们开放到网络。
"Environment": {
"SM_VLLM_MODEL": "<model-id-or-/opt/ml/model>",
"SM_VLLM_KV_EVENTS_CONFIG": "{\"enable_kv_cache_events\": true, \"publisher\": \"zmq\", \"endpoint\": \"tcp://*:5557\", \"topic\": \"kv-events\", \"replay_endpoint\": \"tcp://*:5658\"}"
}
- 在端点配置中选择 KV-aware routing – 在生产变体的 RoutingConfig 中将 RoutingStrategy 设置为 KV_AWARE:
"RoutingConfig": {
"RoutingStrategy": "KV_AWARE"
}
如果你的容器镜像为 CUDA 13 构建,还要将生产变体中的 InferenceAmiVersion 设置为支持它的 AMI,例如 al2023-ami-sagemaker-inference-gpu-4-1。否则容器可能无法启动。请参阅 Inference GPU drivers。
检查你的账户是否有足够的端点配额来支撑你选择的实例类型和数量,如有需要请在 Service Quotas 中申请提高配额。
同样的 RoutingConfig 设置也适用于推理组件端点,包括动态 LoRA 适配器。对于适配器,KV-aware routing 会在已加载该适配器的实例之间进行选择。
调用端点
调用端点的方式没有任何变化。使用 InvokeEndpoint,或使用 InvokeEndpointWithResponseStream 并在请求体中带上 "stream": true,发送 Chat Completions 载荷:
{"messages": [{"role": "user", "content": "What is your return policy?"}]}
你也可以通过 SageMaker AI OpenAI 兼容 Chat Completions API,使用 OpenAI Python 客户端调用端点。GitHub 上的 Use the OpenAI-compatible API with SageMaker AI notebook 展示了具体做法,涵盖单模型端点和推理组件两种情况。
KV-aware routing 不会应用第 1 部分中的多租户前缀隔离:它会忽略 prefix-aware ID 头和 prompt_cache_key 字段。将顶层 cache_salt 字段设置为非 null 值的请求会被拒绝,并返回 400 错误。
KV-aware 路由增加了两种错误情况:如果请求的 model 字段指定的模型不是容器所服务的模型,则会失败并返回 ModelError;如果请求的 cache_salt 非 null,则会以 400 错误被拒绝。推理本身产生的错误仍像以前一样返回,并且模型容器自身在 Amazon CloudWatch 中的日志可以帮助你找到原因。端点不会向你的账户投递有关其 KV-aware 路由决策的日志,因此请使用“验证 KV-aware 路由是否正常工作”中的检查项(例如每个请求的 cached_tokens 和 KV cache 命中率)来查看路由行为。
验证 KV-aware 路由是否正常工作
KV-aware 路由本身不会添加指标,因此你要检查它对模型的影响。有三种方法可以做到这一点。
检查每个请求的缓存命中 – 默认情况下容器不会报告提示 token 详情,因此在模型环境中将 SM_VLLM_ENABLE_PROMPT_TOKENS_DETAILS 设置为 true。然后每个响应都会包含 usage.prompt_tokens_details.cached_tokens,即由 KV cache 提供的提示 token 数量。当你发送后续轮次,或发送另一个与之前请求开头相同的请求时,非零值表明该请求到达了持有其前缀的实例。
在 Amazon CloudWatch 中检查模型指标 – 创建端点配置时,通过添加 --metrics-config '{"EnableDetailedObservability": true}' 来开启详细可观测性,并使用“要求和限制”中的 SDK 版本。随后 SageMaker AI 会发布模型容器的指标,包括 KV cache 命中率和 TTFT。按照“使用 PromQL 的详细可观测性”中所述查询这些指标。

图 2:验证 KV-aware 路由。(a) 一个后续请求显示大部分提示 token 由 KV cache 提供。(b) 同一端点在 SageMaker AI Insights 仪表板中的 KV cache 命中率
与原本会使用的策略进行比较 – 对于大多数 LLM 工作负载,真正的选择是在 KV_AWARE 和 PREFIX_AWARE 之间,因此比较这两者,并添加一个 RANDOM 端点作为基线。每个端点使用相同的模型、实例类型和实例数量,并以相同的并发度在相同持续时间内发送相同的提示,这样唯一的差异就是路由策略。确保你的测试像生产流量那样复用上下文,例如多轮对话或共享文档。如果 KV_AWARE 和 PREFIX_AWARE 在你的流量上表现大致相同,那么前缀感知路由是更简单的选择。
作为这种比较的一个示例,我们在一个小端点上比较了 RANDOM 和 KV_AWARE。我们向两个仅路由策略不同的端点发送了相同的多轮工作负载。每个端点有两个 ml.g5.xlarge 实例,在受支持的容器上提供 Qwen3-4B-Instruct-2507。每次运行发送 128 个请求:32 个模拟用户,每个用户就一份文档提出 4 个问题,文档从 12 份约 7,400 个 token 的文档中选择。每个问题都会重新发送到目前为止的对话,因此第一个问题之后的每个问题都可以复用缓存的上下文。我们运行了两对运行,第 1 对中 RANDOM 在前,第 2 对中 KV_AWARE 在前,并且每对都使用新文档,以便两个端点都从空缓存开始。表 1 以 pair 1 / pair 2 的形式显示结果。
| Metric | RANDOM | KV_AWARE |
|---|---|---|
| CloudWatch ModelLatency 平均值 (ms) | 4,124 / 5,100 | 1,235 / 1,314 |
| CloudWatch ModelLatency p50 (ms) | 3,153 / 4,083 | 656 / 700 |
| CloudWatch ModelLatency p90 (ms) | 8,334 / 10,746 | 3,213 / 3,535 |
| CloudWatch ModelLatency p99 (ms) | 17,779 / 16,249 | 6,876 / 7,238 |
| 首 token 时间 p50,第 2–4 个问题 (ms) | 1,284 / 1,632 | 237 / 245 |
| 首 token 时间 p90,第 2–4 个问题 (ms) | 5,039 / 6,101 | 456 / 367 |
| 首 token 时间 p90,所有请求 (ms) | 5,003 / 5,683 | 1,465 / 1,759 |
| 由缓存提供的提示 token 占比 | 0.761 / 0.701 | 0.903 / 0.903 |
| 运行时长 (s) | 31.1 / 36.9 | 17.9 / 18.0 |
| CloudWatch OverheadLatency 平均值 (ms) | 13.1 / 8.1 | 27.1 / 27.5 |
表 1:相同负载下的 RANDOM 与 KV_AWARE 路由。每个单元格显示第 1 组 / 第 2 组。ModelLatency 和 OverheadLatency 是端点的 Amazon CloudWatch 指标。首 token 时间和运行时长由客户端测量。缓存占比是一次运行中 cached_tokens 之和除以 prompt_tokens 之和。
在两组中,KV_AWARE 的 CloudWatch ModelLatency 都更低(平均为 1,235 和 1,314 ms,对比 4,124 和 5,100 ms),第 2–4 个问题的首 token 时间也更低(p50 为 237 和 245 ms,对比 1,284 和 1,632 ms)。其缓存占比更高,两组均为 90 百分比,对比 76 和 70 百分比。OverheadLatency,即 SageMaker AI 花费在模型容器之外的时间,在 KV_AWARE 下平均高出 14 到 19 ms。这只是一个模型、一种实例类型,以及一种包含长共享文档的负载,因此请按本节前面所述方法测量你自己的流量。图 3 显示了 SageMaker AI 控制台为两个端点展示的模型延迟图表。

图 3:Amazon CloudWatch 中 RANDOM 端点(蓝色)与 KV_AWARE 端点(橙色)的一分钟平均模型延迟,位于共享的 0–7 秒轴上。每个端点在新文档上连续接收了七次相同负载的运行,RANDOM 在前。RANDOM 的平均模型延迟为 4.9–6.2 秒,KV_AWARE 为 1.2–1.3 秒。最后一个 RANDOM 点更低,因为那一分钟只包含该次运行的最后 20 个请求。
如果两者都不比 RANDOM 更好,请检查容器中是否已开启前缀缓存和 KV cache 事件,如“要求与限制”中所述。
示例笔记本
该示例笔记本将本文中的步骤应用于两个 ml.g5.xlarge 实例(单模型端点的最低配置)以及一个包含两份副本的推理组件端点上的 Qwen/Qwen3-4B-Instruct-2507。它通过两种 API 调用端点,在容器日志中显示后续请求由 KV cache 提供,并且不比较路由策略。请在最后运行其清理单元格,以避免产生持续费用。
清理
为避免持续费用,请删除你创建的资源。对于推理组件端点,请先删除推理组件(delete-inference-component),然后删除端点、端点配置和模型(delete-endpoint、delete-endpoint-config、delete-model)。
实践建议
以下三项实践有助于你在开启 KV-aware 路由后保持其有效。
监控 KV cache 命中率——上线后保持详细的可观测性,并在 SageMaker AI Insights 仪表板(图 2b)中持续观察 KV cache 命中率随时间的变化,或按“验证 KV-aware 路由是否正常工作”中所述使用 PromQL 查询。
为冷启动做好准备——使用新上下文的第一个请求,例如新文档或对话的第一轮,在任何实例上都没有可用的缓存。KV-aware 路由加速的是后续请求,而不是第一个请求。
Amazon SageMaker AI 实时端点现已支持 KV 缓存感知路由
为扩展和更新期间的缓存重建做好规划 – 如 How KV-aware routing works 中所述,新实例启动时缓存为空。为了缓解延迟增加,对单模型端点使用滚动更新或蓝绿更新,或对推理组件使用 RollingUpdatePolicy。
结论
KV 感知路由为 SageMaker AI 实时端点提供了第二种将请求发送到提示缓存位置的方式。它使用模型容器报告的缓存状态,因此当实例在内存压力下逐出缓存时,它会跟随缓存。本系列第 1 部分中的前缀感知路由对于稳定的共享提示、短上下文和中等负载仍然是更简单的选择。SageMaker AI 在端点内部为两种策略处理路由,因此您无需自行构建或运行路由层。您只需在模型中使用一个环境变量,并在端点配置中设置 "RoutingStrategy": "KV_AWARE" 即可开启。
KV 感知路由现已在所有支持 SageMaker AI 实时推理的商业 AWS 区域中可用,适用于使用受支持容器的端点。它无需额外付费。SageMaker AI 为您运行和管理缓存索引,您只需为端点使用的实例付费。KV_AWARE 是现有 RoutingStrategy 字段的新值,因此您不需要新的配置对象,旧版本的 AWS CLI 和 Boto3 也接受它。要开始使用,请阅读文档,在小端点上运行示例笔记本,然后在您自己的流量副本上比较 KV_AWARE 与 PREFIX_AWARE。