推出 Amazon SageMaker HyperPod 全局推理网关:跨区域和集群的单一端点
在流量高峰期间,请求可能在一个已饱和的 HyperPod 集群上排队,而另一个集群(有时位于另一个 AWS 区域)上的 GPU 却处于空闲状态。你已经为这些容量付费,但你的请求却无法到达那里。
在 Introducing Amazon SageMaker HyperPod Inference Gateway 中,我们展示了 Inference Gateway 如何为每个 Amazon SageMaker HyperPod 集群提供单一、GPU 感知的端点。它读取键值(KV)缓存利用率和队列深度等实时信号,将每个请求放置在最合适的 pod 上。这解决了一个集群内部的路由问题,但没有解决跨集群的路由问题。
如今,SageMaker HyperPod 推出 Global Inference Gateway。它是一个由 SageMaker 管理的网关,可在你注册的每个集群之间进行路由,无论是同一区域内还是跨区域。该网关选择集群并通过 AWS 骨干网承载请求,具备自动故障转移,并通过 AWS Signature Version 4(SigV4)和 AWS Identity and Access Management(IAM)进行身份验证。在每个集群内部,Inference Gateway 继续选择 pod,保持不变。Global Inference Gateway 是我们在第 1 部分中描述架构的第二层。
挑战:容量分散在多个集群和区域
模型越来越大,服务它们所需的 GPU 容量也越来越难找。为了获得足够的容量,你将其分散到更多的集群和更多的区域。
设想一个团队在两个区域的五个 HyperPod 集群上服务四个模型。如果没有 Inference Gateway,客户端需要跟踪 20 个端点:每个集群上每个模型一个。Inference Gateway 将其减少到五个,每个集群一个。但每个客户端仍然需要自己选择集群。
这种选择是有代价的:
- 负载不均。在高峰期,请求在一个区域排队,而另一个区域的 GPU 却处于空闲状态。
- 手动故障转移。当集群发生故障时,工程师需要更改配置以将流量从该集群移走。
- 自定义管道。跨区域分散流量意味着你需要自行构建和维护负载均衡器、DNS 和跨区域网络。
该团队需要一个端点,能够将每个请求发送到最合适的集群,并在集群发生故障时自动将流量移走。
主要优势
Global Inference Gateway 帮助你更充分地利用已有的 GPU 容量,同时减少运维工作。
- 让空闲 GPU 发挥作用。在高峰期,请求会溢出到同一区域或另一区域中有可用容量的集群,而不是在已饱和的集群上排队。
- 自动故障转移。当集群发生故障时,网关将其流量转移到次优集群。客户端无需做任何更改。
- 一个端点搞定一切。客户端调用一个由 SageMaker 管理的单一端点,而无需跟踪每个集群或每个模型的端点。
- 省去自定义网络。你无需构建或维护负载均衡器、DNS 或跨区域网络。
- 默认保持私有。每个请求都通过 SigV4 和 IAM 进行身份验证,并且仅通过 AWS PrivateLink 到达你的集群。
客户反馈
“在 Bagelcode,我们在 AWS 上运行自己的 LLM 推理服务,帮助公司各团队(包括我们的游戏团队)利用 AI 改进工作方式。在我们的 beta 测试中,Amazon SageMaker HyperPod 中的 Global Inference Gateway 通过单一端点跨两个 AWS 区域路由请求,并在一个集群无法再服务该模型时继续提供服务。这为我们小型平台团队提供了跨区域故障转移能力,而无需构建或维护自己的路由层。”
— Jinhyung Park,Bagelcode 副总裁(AI 平台)
工作原理
设置网关需要做两个决定:开放哪些集群用于路由,以及将其中哪些集群分组到一个网关之后。
文章标题:推出 Amazon SageMaker HyperPod Global Inference Gateway:一个端点跨区域和集群
正文:
- 发布集群。每个集群只需执行一次。在集群现有的 InferenceGatewayConfig 中启用 spec.globalRouting 块。随后,HyperPod Inference 控制器会从你自己的账户中私有地发布该集群。
- 创建网关。每个网关只需执行一次。调用 CreateGlobalInferenceGateway 并传入要路由的集群,SageMaker 会返回一个端点。
只有在发布集群之后,该集群才可达。发布集群时,控制器会在集群的 Inference Gateway 前面创建一个 Network Load Balancer,在其上发布一个虚拟私有云 (VPC) 端点服务,并将监听器的证书上传到你的 TLS 存储桶。这些资源都位于你的账户中。如果你在发布集群之前就把它列入网关,调用会失败,并给出提示告诉你需要修正什么。
请求如何流转
图 1 展示了每个请求的路径:(1) 你的客户端使用 SigV4 对请求签名,并将其发送到网关的区域端点。(2) 网关对调用方进行身份验证并选出最佳集群。(3) AWS PrivateLink 将请求传送到该集群,无论在同一区域还是其他区域,(4) 集群的 Inference Gateway 会像现在一样将其路由到模型 pod。

图 1:Global Inference Gateway 在一个区域端点接收每个请求,并通过 AWS PrivateLink 将其转发到最佳的 HyperPod 集群,然后由该集群的 Inference Gateway 将其路由到模型 pod。每个集群都会将其负载发布回网关。
AWS 负责运营的部分
你决定要发布哪些集群、将哪些集群归组到一个网关之后,以及如何为路由加权。其余部分由 AWS 运营:
- 路由集群。SageMaker 预置并运营该集群,它负责终止 TLS、验证调用方、为集群评分并转发每个请求。
- 私有连接。SageMaker 为每个集群创建一个私有端点,并在 AWS 骨干网上承载流量,支持区域内和跨区域。
- 证书与验证。该服务使用你创建的执行角色读取每个集群的 VPC 端点服务名称、证书和区域,因此你无需手动复制它们。它会在路由流量之前对这些内容进行检查。
- 健康检查与故障转移。网关会对每个集群进行健康检查,并自动将流量从故障集群上移走。有关详细信息,请参阅“运营网关”部分。
- 身份验证与速率限制。网关会检查 SigV4 签名、IAM 权限和速率限制,并在任何集群看到请求之前拒绝失败的请求。
在每个集群上,一个由服务管理、拥有独立 IAM 角色的指标发布器会将集群的负载发送到网关。
网关如何选择集群
对于每个请求,网关会根据四个信号为每个健康集群评分,并将请求发送到得分最高的集群。每个集群的指标发布器提供负载信号。
你可以通过路由权重控制每个信号的权重。每个权重是 0.0 到 1.0 之间的值,权重为 0 会关闭该信号。如果你设置权重,就必须设置全部四个,且它们之和必须为 1.0。如果省略,则适用下表中的默认值。
| 权重 | 评分内容 | 默认值 |
|---|---|---|
| KVHeadroom | 集群上可用的 KV 缓存和 GPU 内存 | 0.20 |
| QueueDepth | 集群的积压程度 | 0.25 |
| RegionProximity | 集群与网关所在区域之间的距离 | 0.40 |
| ErrorRate | 集群上近期的失败请求 | 0.15 |
默认值倾向于靠近网关所在区域的集群,同时仍将流量导向有可用容量的集群,并远离正在发生故障的集群。如果对你的工作负载而言韧性比邻近性更重要,可以提高 ErrorRate 并降低 RegionProximity。例如,以下路由块将近期错误的权重设为 0.7:
{"Weights": {"KVHeadroom": 0.1, "QueueDepth": 0.1, "RegionProximity": 0.1, "ErrorRate": 0.7}}
你在 CreateGlobalInferenceGateway 的 Routing 参数中传入这些权重,之后可以用 UpdateGlobalInferenceGateway 修改它们。
选择起点
你的路径取决于当前运行的环境。如果只从一个集群提供服务,就继续使用该集群的 Inference Gateway 端点。当你添加第二个集群时,再迁移到 Global Inference Gateway。
| 起点 | 你的操作 | 结果 |
|---|---|---|
| Inference Gateway 在每个集群上运行,例如在 us-east-1 和 us-west-2 的五个集群上运行四个模型 | 更新 add-on、发布每个集群,然后创建网关 | 所有集群共用一个端点。在你迁移客户端期间,各集群的端点继续提供服务。 |
| HyperPod Inference add-on 在 Inference Gateway 关闭的情况下运行 | 通过一次 add-on 更新和每个集群一个 InferenceGatewayConfig 开启 Inference Gateway,为每个模型添加一个 scheduler,然后按第一行操作 | 每个模型的端点合并为一个 |
| 两个 Region 都有 GPU 容量,但尚未设置 HyperPod Inference | 在每个 Region 创建一个带 HyperPod Inference add-on 的 HyperPod 集群,部署你的模型,开启 Inference Gateway,然后按第一行操作 | 从第一天起就只有一个端点,流量路由可以精细调节,并且某个 Region 出问题时仍能继续提供服务 |
开始使用
要设置 Global Inference Gateway,你需要准备每个集群、创建一个执行角色,并调用 CreateGlobalInferenceGateway。然后,你将使用 SigV4 签名的 OpenAI 兼容请求发送到网关端点。有关分步说明,包括 IAM 角色和策略,请参阅 AWS 文档。
安全与访问
对网关的每个请求都使用 SigV4 签名,并通过 IAM 授权。调用方需要拥有调用网关的权限,流式传输有自己的操作:
{
"Version": "2012-10-17",
"Statement": [{
"Effect": "Allow",
"Action": [
"sagemaker:InvokeGlobalInferenceGateway",
"sagemaker:InvokeGlobalInferenceGatewayWithResponseStream"
],
"Resource": "arn:aws:sagemaker:<region>:<account-id>:global-inference-gateway/<gateway-id>"
}]
}
将此策略附加到每个发送请求的 IAM 身份。要允许账户中的所有网关,请使用 global-inference-gateway/* 作为资源。
执行角色遵循最小权限原则。它只能描述你列出的集群,只能访问这些集群的 Amazon Elastic Kubernetes Service(Amazon EKS)API,并且只能读取你的 TLS 存储桶中 gig/ 前缀下、标记为由 HyperPod Inference 创建的路由证书。
身份令牌。如果你的集群检查 JSON Web Tokens(JWT),请通过 --customer-identity-token(即 X-Amzn-SageMaker-Customer-Identity-Token 头)传递令牌,不要加 Bearer 前缀。令牌包含在 SigV4 签名内,因此未签名的令牌会被拒绝并返回 403,重复的令牌则返回 400。请在每个提供模型的集群上开启 JWT 检查,或者全部都不开启,这样请求就不会在一个集群上成功而在另一个集群上失败。
请求仅通过 AWS PrivateLink 到达你的集群,如图 1 所示。网关不会记录或存储提示词或补全内容。
运营网关
以下是配置网关的步骤。
添加集群
按照文档所述准备新集群,并在其上创建执行角色的 EKS 访问条目。同时将新集群添加到执行角色权限策略的 Resource 列表中。然后,在网关所在的 Region 调用 AddInferenceGateway,即使新集群位于另一个 Region:
aws sagemaker add-inference-gateway \
--identifier <gateway-name> \
--region <region> \
--cluster-arn arn:aws:sagemaker:<region-3>:<account-id>:cluster/<cluster-id-3> \
--name <gateway-config-name-3> \
--namespace inference-gateway
文章标题:推出 Amazon SageMaker HyperPod Global Inference Gateway:跨区域和集群的单一端点
正文: 网关会校验集群,并在集群健康后开始向其路由请求。端点、其他集群和客户端都不受影响。
分离集群
在网关所在区域调用 RemoveInferenceGateway:
aws sagemaker remove-inference-gateway \
--identifier <gateway-name> \
--region <region> \
--cluster-arn arn:aws:sagemaker:<region-3>:<account-id>:cluster/<cluster-id-3> \
--name <gateway-config-name-3> \
--namespace inference-gateway
网关停止向该集群发送新请求,让进行中的请求完成,并移除私有端点。网关始终至少保留一个集群。要彻底撤出该集群,请在其 InferenceGatewayConfig 中设置 globalRouting.enabled: false 并重新应用。
删除网关
调用 DeleteGlobalInferenceGateway:
aws sagemaker delete-global-inference-gateway \
--identifier <gateway-name> --region <region>
网关端点停止服务,各集群端点继续服务。网关删除后,请通过 globalRouting.enabled: false 逐个撤出集群,然后删除执行角色以及你为全局路由添加的 IAM 权限。
下表总结了常见事件和变更对流量造成的影响。
| 事件 | 会发生什么 | 你需要做什么 |
|---|---|---|
| 网关创建失败 | 网关转为 FAILED ,FailureReason 会说明失败原因,例如证书名称不匹配 | 修复原因。要查看各集群的状态,请调用 ListInferenceGateways 。 |
| 某个集群故障 | 流量转移到次优集群,该集群恢复后会逐步重新接收流量。失败的请求会在另一个集群上重试一次,除非它已经开始流式传输。如果没有健康集群剩余,网关返回 503。 | 无需操作。客户端不做任何更改。 |
| 更改路由权重 | 新请求使用新权重,进行中的请求按旧权重完成。不会重新预置任何资源。 | 调用 UpdateGlobalInferenceGateway |
| 添加集群 | 集群健康后开始路由。其他方面不变。 | 参见添加集群 |
| 分离集群 | 新请求停止,进行中的请求完成 | 参见分离集群 |
| 删除网关 | 网关端点停止服务,各集群端点继续服务 | 参见删除网关 |
如需任何故障排查帮助,请参阅 Troubleshooting Guide。
最佳实践和注意事项
- 在发布之前规划好你的分组。确定哪些集群位于每个网关之后,对于应共享某个模型流量的所有集群,都使用相同的 modelName。如果你希望峰值流量溢出到跨区域,请为两个区域中的集群预留余量。
- 只发布你添加到网关的集群。已发布但不在任何网关中的集群不会接收流量,但其 Network Load Balancer 仍在运行并计费。
- 覆盖每个模型。InferenceGatewayConfig 中的每个 scheduler 都将一个模型名称映射到为其提供服务的 pod。不在任何 scheduler 中的模型无法通过网关访问,对其的请求会返回 404 错误。
- 保持你的 add-on 配置完整。使用 --resolve-conflicts OVERWRITE 时,不完整的配置可能会重置你的负载均衡器或 TLS 设置。每次都要从当前配置开始。
- 在每条 kubectl 命令上都传入 --context 。你要在多个集群上工作,因此确保每条命令都针对你想要的集群运行。
- 在需要时,将工作负载保持在单个区域内。创建一个仅包含该区域内集群的网关。
结论
在这篇文章中,我们介绍了 Amazon SageMaker HyperPod Global Inference Gateway:一个由 SageMaker 管理的端点,跨越你的 HyperPod 集群,位于一个或多个区域。网关根据 KV cache 余量、队列深度、区域邻近度和错误率来选择集群,并在集群故障时转移流量,客户端无需做任何更改。
全球推理网关已在 13 个 AWS 区域推出:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、南美洲(圣保罗)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(斯德哥尔摩)、亚太地区(东京)、亚太地区(孟买)、亚太地区(新加坡)和亚太地区(悉尼)。
如需开始使用,请参阅 AWS 文档。