Newshot

通过 Amazon SageMaker AI 的跨区域推理路由,在区域容量不足时保持推理运行

AI summary

当某个区域 GPU 容量不足时,将请求转移到另一个区域,是实现高可用推理的成熟做法;但在 Amazon SageMaker AI 托管端点上,跨区域路由此前仍需自行构建。Amazon SageMaker AI 新增跨区域推理路由,借助新资源“推理路由器”,让应用通过一条调用路径访问一个或多个 AWS 区域及账户中已有的端点和推理组件:本地目标健康时请求留在本区域,不健康时将新请求转移到另一注册目标,恢复后再逐步切回流量。

Translation(model translation, not the source's own text)

在 Amazon SageMaker AI 中通过跨区域推理路由,在区域容量不足时保持推理持续运行

从一个以上的 AWS 区域提供模型服务,是实现高可用推理的成熟做法:当一个区域的 GPU 容量不足时,请求会转移到另一个区域。这个模式描述起来简单,运营起来却很难。到目前为止,如果你在 Amazon SageMaker AI 托管端点上提供模型服务,跨区域路由仍然是你必须自行构建的部分。

今天,我们推出 Amazon SageMaker AI 中的跨区域推理路由。它使用一个新资源——推理路由器(inference router),为你的应用提供一条跨端点与推理组件的统一调用路径,这些端点和推理组件可以位于一个或多个 AWS 区域和 AWS 账户中。你注册为某个模型提供服务的各个目标,然后应用调用路由器,而不是调用某个具体端点。当本地目标健康时,路由器将请求保留在其所在区域;当本地目标不健康时,将新请求转移到另一个已注册目标;并在恢复后逐步将流量切回。

本文中,我们解释跨区域推理路由如何决定每个请求在哪里运行,用一个模型部署在两个区域的示例进行演练,并介绍监控、限制和计费方式。关于提供多个模型的跨账户部署,请参阅 How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI。

当一个区域容量不足时

一个 SageMaker AI 端点运行在一个 AWS 区域和一个账户中。当自动扩缩容无法添加端点所需类型的实例时,请求会被限流并超时,即使同一模型在另一个区域还有空闲容量也是如此。要利用那部分容量,你的应用必须检测出挣扎中的端点并切换区域,判断哪些错误可以安全重试而不会重复运行模型,在恢复后将流量切回且不来回抖动,还要管理对其他账户中端点的访问。这段代码位于每个请求的关键路径上,而每个跨区域提供模型服务的团队都在维护自己的一套实现。

跨区域推理路由的工作原理

跨区域推理路由基于几个核心理念:

  • 你决定模型可能在哪里运行——对每个模型,你选择路由器可能使用哪些端点和推理组件。
  • SageMaker AI 决定由哪个目标为每个请求提供服务——路由器优先选择自己所在的区域,只有当本地目标无法可靠服务时,才将新请求转移到另一个目标。
  • 你的端点保持不变——你像今天一样部署端点,使用相同的模型、配置、实例池和自动扩缩容。直接调用 InvokeEndpoint 仍然有效,路由器会像 InvokeEndpoint 一样透传 InferenceId 和 CustomAttributes。
  • 你可以看到每一个决策——每个实时响应都会告诉你哪个目标为该请求提供了服务,以及原因。

几个术语用于描述这些组成部分:

  • 推理路由器(Inference router)——你账户中的一个区域级 SageMaker AI 资源,由你的应用调用。
  • 路由目标(Routing target)——路由器上一个逻辑模型的名称,例如 fraud-model。一个路由器可以承载多个路由目标,每个路由目标独立于其他目标进行故障转移。
  • 目标(Destination)——注册在某个路由目标下的实时端点、推理组件或异步端点,由其完整的 Amazon Resource Name(ARN)标识,ARN 会告诉路由器其所在区域和账户。一个路由目标要么承载实时目标(可以跨区域和跨账户混合端点和推理组件),要么仅承载异步端点。
  • 本地目标(Local destination)——位于路由器所在区域的目标,在其健康时被优先使用。
  • 路由原因(Routing reason)——随每个实时响应返回的值,说明请求去了哪里以及原因。

文章标题:在 Amazon SageMaker AI 中使用跨区域推理路由,在区域容量不足时保持推理持续运行

正文: 创建路由器所在的区域即为其本地区域。如需优先使用其他区域,请在该区域创建路由器。路由器不会创建容量、扩展端点、部署模型,也不会复制模型构件和容器镜像。每个目标都必须已在其所在区域运行。

推理路由器架构:客户端调用区域 A 中的路由器,该路由器将请求发送至本地目标,并在同一账户和另一账户中回退到区域 B 的目标
推理路由器架构:客户端调用区域 A 中的路由器,该路由器将请求发送至本地目标,并在同一账户和另一账户中回退到区域 B 的目标

图 1:每个请求都发送至健康的目标,路由器优先选择其所在区域内的目标

路由决策的制定方式

路由器仅考虑已注册在路由目标上且其有权调用的目标。在这些目标中,它优先选择其所在区域内的目标;当多个本地目标均健康时,它会在这些目标之间均匀分配请求。仅当本地目标无法可靠提供服务时,请求才会离开该区域。为检测这一点,SageMaker AI 会根据目标在其自身区域内最近的请求,为每个目标计算健康分数。服务器错误(5xx)、限流和超时会降低该分数。来自 SageMaker AI 平台的错误(例如健康检查失败)对其降低幅度最大。由请求本身引起的错误(例如无效输入)不会降低该分数,因为同样的请求在任何区域都会失败。模型延迟不作为输入,因此持续返回成功响应的端点会保持其流量。实例启动失败或端点运行的实例少于其自动扩缩目标等信号会使路由器更快做出反应,但仅在目标开始出现请求失败之后。

路由器会评估每个目标的健康状况,并将其作为三种状态之一发布到 Amazon CloudWatch。健康的目标正常提供服务。过载的目标仍会提供服务,路由器会将部分流量移走。降级的目标正在失败或无法提供服务,因此路由器会将大部分流量移走,并保留一小部分流量以检测恢复情况。

三种目标健康状态(健康、过载、降级)示意图,以及每种状态接收的流量份额
三种目标健康状态(健康、过载、降级)示意图,以及每种状态接收的流量份额

图 2:每种目标健康状态如何改变路由器发送给它的流量

SageMaker AI 管理故障转移阈值和时机,因此你无需调整任何阈值。如果远程目标的健康信息变得过时,路由器会将流量保留在其所在区域内,因此监控缺口绝不会自行转移流量。

流量何时转移,何时恢复

失败的请求越多,转移的流量就越多,因此目标不必先彻底失败。在持续出现错误后约一分钟内流量开始转移,对于流量较少的目标则需要更长时间。离开本地区域的流量会按其健康状况比例分散到健康的远程目标。你无法设置权重或回退顺序。恢复后,流量会在几分钟内返回,比离开时更慢。进行中的请求不会中断。

当目标未能运行模型而实时请求失败时,路由器会在另一个目标上重试该请求一次。这涵盖例如限流、503 错误、模型未就绪、被跨区域流量上限拒绝,或目标拒绝访问等情况。路由器绝不会重试超时、500 错误或模型错误。

对于异步请求,路由器会依次尝试每个符合条件的目标,优先尝试本地目标,直到某个目标接受该请求。

流程图:一个实时请求在模型运行前在某个目标处失败,随后在另一个目标上重试一次
流程图:一个实时请求在模型运行前在某个目标处失败,随后在另一个目标上重试一次

图 3:路由器在另一个目标上对实时请求重试一次,且仅在模型未运行时才重试

图 4 展示了在我们使用测试模型进行的一次测试中,请求被处理的位置。

图表:当本地端点过载、一个跨账户目标失去访问权限并恢复时,测试请求被处理的位置
图表:当本地端点过载、一个跨账户目标失去访问权限并恢复时,测试请求被处理的位置

图 4:当本地端点过载、另一个账户中的目标失去并重新获得访问权限,以及本地端点恢复时,请求被处理的位置

可以路由的内容

以下用例展示了在 Amazon SageMaker AI 中使用跨区域推理路由的常见方式。

  • 当一个区域 GPU 容量不足时继续提供服务。当你的 G 系列实例类型在高峰流量期间在 US East (Ohio) 容量不足且请求开始被限流时,路由器会将新请求转移到 US West (Oregon) 中相同的模型,由那里的自动扩缩容吸收溢出流量,并在 US East (Ohio) 恢复后逐步将流量迁回。
  • 在由不同 AWS 账户拥有的端点之间路由。当中央平台账户拥有路由器而其他账户拥有端点时,每个端点所有者向一个指定的路由器授予访问权限,请求只能通过该路由器到达这些端点。我们在此列表之后介绍该设置。
  • 从一个路由器为多个模型提供服务。创建一个路由器,每个模型对应一个路由目标,每个路由目标列出该模型的目标端点,并在每个请求中传入路由目标名称。每个模型独立进行故障转移。
  • 将路由器置于你自己的网关之后。如果你运营一个 API 或模型网关,你可以将其 SageMaker AI 集成指向该路由器,这样 SageMaker AI 负责为 SageMaker 托管的模型选择区域,而你的网关决定何时使用其他提供商。例如,参见 Salesforce 的文章。
  • 路由异步请求。异步端点,无论是在路由器所在账户还是其他账户中,都可以作为目标。你的应用程序使用路由目标名称和 Amazon Simple Storage Service (Amazon S3) 输入位置调用 InvokeInferenceRouterAsync,并像 InvokeEndpointAsync 一样获得一个 InferenceId 以及输出和失败位置。
  • 保护接收端点免受其他区域的溢出影响。在实时端点上,你可以设置可选的跨区域流量上限,使来自其他区域的请求只能使用其部分容量。你的端点的本地调用方保留其余容量。我们在本节后面介绍详细信息。

当目标与路由器属于不同账户时,两个账户都必须允许每个请求。在端点侧,所有者附加一个基于资源的策略,允许路由器账户调用该端点,并且 sagemaker:SourceInferenceRouterArn 条件键将该访问限制为一个指定的路由器。以下策略仅允许账户 444455556666 中的 my-router 调用该端点。其第二条语句没有路由器条件,允许路由器账户读取端点的状态。如果没有该语句,目标会将其状态显示为未知。

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都请完全按照其书写形式使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。


        {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowOneRouter",
      "Effect": "Allow",
      "Principal": {"AWS": "arn:aws:iam::444455556666:root"},
      "Action": ["sagemaker:InvokeEndpoint", "sagemaker:InvokeEndpointAsync"],
      "Resource": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/my-endpoint",
      "Condition": {"ArnEquals": {
        "sagemaker:SourceInferenceRouterArn": "arn:aws:sagemaker:us-east-2:444455556666:inference-router/my-router"}}
    },
    {
      "Sid": "AllowStatusVisibility",
      "Effect": "Allow",
      "Principal": {"AWS": "arn:aws:iam::444455556666:root"},
      "Action": "sagemaker:DescribeEndpoint",
      "Resource": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/my-endpoint"
    }
  ]
}
      

在 router 账户中,调用方需要对 router 拥有 sagemaker:InvokeInferenceRouter(或 sagemaker:InvokeInferenceRouterAsync),并对每个目标拥有 sagemaker:InvokeEndpoint(或 sagemaker:InvokeEndpointAsync),因为 router 是代表调用方去调用每个目标的。router 绝不会把调用方本无法直接调用的 endpoint 的访问权限授予调用方。为了让 DescribeInferenceRouter 报告每个目标的状态,调用方还需要对 endpoint 拥有 sagemaker:DescribeEndpoint,并对 inference component 拥有 sagemaker:DescribeInferenceComponent。其他账户中的应用通过代入 router 账户中的角色来调用 router。完整演练请参阅 How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI 以及跨账户目标用户指南。

endpoint 所有者保留的控制手段:一条只允许一个具名 router 的 endpoint 策略,以及一个可选的跨 Region 流量上限
endpoint 所有者保留的控制手段:一条只允许一个具名 router 的 endpoint 策略,以及一个可选的跨 Region 流量上限

Figure 5: endpoint 所有者保留的控制手段:一条只允许一个具名 router 的 endpoint 策略,以及一个可选的跨 Region 流量上限

用跨 Region 流量上限保护接收端 endpoint

当 router 把请求从一个容量不足的 Region 移走时,这些请求会落到那些已经在服务本 Region 调用方的 endpoint 上。默认情况下,接收端的 endpoint 会接受任意数量的跨 Region 流量,因此溢出的流量激增可能把它推入限流状态。通过跨 Region 流量上限,endpoint 所有者可以决定 endpoint 容量的多大比例可供其他 Region 使用。

你在 CreateEndpointConfig 中通过 CrossRegionTrafficConfig 设置该上限,它接受两个必填值。MaxInvocationsPerSecondPerInstance 是单个实例每秒可以承接的调用数,你需要针对自己的模型、实例类型和典型负载做压力测试来测得该值。MaxCrossRegionPercentPerEndpoint 是其他 Region 可以使用的该容量的比例。SageMaker AI 会将单实例速率乘以在役实例数,再应用该百分比,因此该上限会随自动扩缩而变化。例如,单实例每秒 50 次调用、上限 20%、在役实例 4 个时,endpoint 每秒最多接受来自其他 Region 的 40 个请求。当自动扩缩新增 2 个实例时,上限升至每秒 60 个请求。


        sm = boto3.client("sagemaker", region_name="us-west-2")
sm.create_endpoint_config(
    EndpointConfigName="my-model-config-us-west-2",
    ProductionVariants=[...],  # your existing variants, unchanged
    CrossRegionTrafficConfig={
        "MaxInvocationsPerSecondPerInstance": 50,
        "MaxCrossRegionPercentPerEndpoint": 20,
    },
)
      

写成 {{NAME_ab12cd34}} 形式的值是真实值的占位符。在回复和工具调用中都要完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求核验它们,也不要用示例替换它们。

只有来自其他区域的请求才会计入该上限。来自端点自身区域的请求,包括直接调用 InvokeEndpoint 以及来自同一区域路由器的调用,永远不会被它限流。当跨区域请求超过上限时,端点会在你的模型运行之前拒绝多余的请求,路由器会在另一个目标上对每个请求重试一次。如果没有其他目标可以接收该请求,你的应用程序会收到限流错误。

该上限适用于实时端点,一个端点上的所有推理组件共享该上限。对于承载推理组件的端点,请用一个实例并按其通常的推理组件和负载组合进行负载测试,以测量 MaxInvocationsPerSecondPerInstance;当该组合或你的负载发生变化时,请重新运行测试。如果你省略 CrossRegionTrafficConfig,端点会接受任意数量的跨区域流量。

开始使用:两个区域中的同一个模型

在本示例中,我们在同一个账户中,将 Qwen3-4B 与 vLLM 容器作为推理组件部署在 US East (Ohio) 和 US West (Oregon)。由于推理路由器不支持响应流式传输,应用程序发送非流式请求,并且每个请求必须在大约一分钟内完成,这与 InvokeEndpoint 的限制相同。然后我们在 US East (Ohio) 中创建一个路由器,其中有一个路由目标列出了两者:


        sm = boto3.client("sagemaker", region_name="us-east-2")
rt = boto3.client("sagemaker-inference-router-runtime", region_name="us-east-2")

sm.create_inference_router(
    InferenceRouterName="my-router",
    RoutingTargets=[{
        "Name": "my-model",
        "Destinations": [
            {"ResourceArn": "arn:aws:sagemaker:us-east-2:111122223333:inference-component/ic-us-east-2"},
            {"ResourceArn": "arn:aws:sagemaker:us-west-2:111122223333:inference-component/ic-us-west-2"},
        ],
    }],
)
      

在发送流量之前,运行 DescribeInferenceRouter 并确认每个目标的 RoutingStatus 为 Routable。

应用程序使用路由目标名称和与发送到 InvokeEndpoint 相同的负载来调用路由器,并从响应中读取服务目标与路由原因:


        resp = rt.invoke_inference_router(
    InferenceRouterName="my-router",
    RoutingTargetName="my-model",
    ContentType="application/json",
    Body=json.dumps({"messages": [{"role": "user", "content": "Who are you?"}]}),
)
print("Served by:", resp["InvokedRoutedResourceArn"])
print("Reason:   ", resp["RoutingReason"])
      

我们观察到的结果

步骤DescribeInferenceRouter 中的 RoutingStatus(us-east-2 / us-west-2)服务方路由原因
两个推理组件均在运行Routable / Routableus-east-2local-preferred
us-east-2 推理组件被移除Unroutable / Routableus-west-2only-healthy
us-east-2 推理组件被恢复Routable / Routableus-west-2only-healthy
流量回到 us-east-2Routable / Routableus-east-2local-preferred

当其推理组件运行时,流量一直留在 US East (Ohio);当我们移除该组件时,流量转移到 US West (Oregon),而应用程序没有任何改动;当我们恢复该组件后,流量又回来了。

本示例的完整 notebook 可在 GitHub 上获取。

提示:将实例池与跨区域推理路由结合使用。借助具备容量感知能力的实例池,SageMaker AI 可以在创建时和扩容期间使用同一区域中的另一种实例类型。当本地端点整体无法提供服务时,路由器会将新请求转移到另一个区域。有关详细信息,请参阅 Capacity-aware inference: Automatic instance fallback for SageMaker AI endpoints。

查看每个请求去了哪里

推理路由器为你提供两种路由视图:每个实时响应上的记录,以及 CloudWatch 中的指标。

每个请求的路由记录

写成 {{NAME_ab12cd34}} 形式的值是真实值的占位符。请完全按原样使用它们,无论是回复中还是工具调用中:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

每个实时响应都会在 InvokedRoutedResourceArn 中包含处理该请求的目标的 ARN,并在 RoutingReason 中包含路由原因。路由原因是以下之一:

  • local-preferred – 由路由器所在区域中健康的目标处理。
  • capacity-available – 由具有可用容量的目标处理。
  • failover – 从无法可靠处理请求的目标转移出来。
  • only-healthy – 由唯一符合条件的健康目标处理。

我们建议将这两个值连同应用程序自身的请求日志一起记录。

异步响应不包含处理请求的目标。CloudWatch 中的路由器指标显示异步请求被放置到了哪里。

CloudWatch 中的路由器指标

路由器在其自己的账户和区域中向 CloudWatch 发布 OpenTelemetry 指标,并带有路由器、路由目标和目标的标签:

  • aws.sagemaker.inference_router.invocations – 每个目标的请求数,失败时带有 error.type 标签(invocation_4xx、invocation_5xx 或 invocation_model_error)。
  • aws.sagemaker.inference_router.destination.duration – 在目标处花费的时间,包括你的模型。
  • aws.sagemaker.inference_router.overhead.duration – 路由器自身的工作加上往返另一区域的网络时间。
  • aws.sagemaker.inference_router.destination.status – 每个目标的状态为 healthy、overloaded 或 degraded。

对不健康的目标以及所有错误类型的错误率设置告警。请参阅 Monitor an inference routers with Amazon CloudWatch and AWS CloudTrail。

图 4 测试期间路由器 CloudWatch invocations 指标中每个目标的请求数随时间变化的图表
图 4 测试期间路由器 CloudWatch invocations 指标中每个目标的请求数随时间变化的图表

图 6:图 4 所示测试期间路由器 CloudWatch invocations 指标中每个目标的请求数

每个目标端点继续在其自己的账户和区域中发布现有的 SageMaker AI 指标。要在一个地方查看它们,请使用 CloudWatch 跨账户可观测性和跨账户跨区域仪表板。

AWS CloudTrail 将路由器的 API 调用(create、update、delete、describe 和 list)记录为管理事件,并将路由器调用记录为数据事件。你像为其他 SageMaker AI 数据事件一样,在跟踪上启用数据事件。

规划你的部署

使用推理路由器进行设计时,请注意以下事项:

  • 将路由器放在你大部分流量来源的区域。路由器始终优先选择其所在区域内的目标。
  • 为每个区域按其自身流量加上你希望其吸收的溢出流量来规划容量。默认情况下,接收端点接受任意数量的跨区域流量,因此请配置自动扩缩并为你预期的溢出流量预留余量。为了保护端点的本地调用方,请设置跨区域流量上限,如 Protect a receiving endpoint with a cross-Region traffic cap 中所述。如果每个远程目标都达到其上限,超出合计上限的请求将返回限流错误。
  • 保留一个低成本的备用区域。你可以在另一区域注册推理组件并保持低成本,但要规划好它如何获得容量。副本数为零的远程推理组件在故障转移期间只会收到一小部分流量,并且这些请求会失败,直到它有副本。请至少保持一个副本运行,或在副本上配置自动扩缩,并在依赖备用区域之前确认它会扩容。
  • 在入口点规划弹性。路由器是区域性的,因此如果其所在区域受损,对它的调用就会失败。在两个区域中创建路由器,并在客户端侧切换。
  • 只注册数据可能被处理的目标位置。请求可能在路由器所在的 Region 处理,也可能在您注册过目标位置的任意 Region 处理。对于必须留在同一地理区域内的数据,请使用单独的路由器,例如一个用于美国数据,一个用于欧盟数据。您有责任对路由器进行配置,使其符合您的数据驻留与合规义务。
  • 自行控制重试次数,不要过多重试。限流错误意味着所有目标位置都繁忙,服务不可用错误意味着没有任何目标位置能接收该请求。大约一分钟后出现服务不可用错误,意味着请求已超时,而模型可能已经运行,因此不要自动重试该请求。
  • 从路由器中移除已删除的目标位置。流量本就会避开已删除的端点,但路由器绝不会自行移除目标位置。
  • 以私有方式调用路由器。虚拟私有云(VPC)中的应用程序可以通过接口 VPC 端点(AWS PrivateLink)调用路由器,该方式支持 IPv4(不支持 IPv6/双栈)。

另请注意以下限制:

  • 不支持响应流式传输。
  • 如果目标位置在大约一分钟内未响应实时请求,该请求将以服务不可用错误失败。
  • 每个路由器最多容纳 20 个路由目标,每个路由目标最多容纳 10 个目标位置,实时负载最大可达 6 MB。有关默认配额(例如每个账户的路由器数量和请求速率)以及如何申请提高配额,请参阅 Amazon SageMaker AI 文档中的 Service Quotas。

Conclusion

Amazon SageMaker AI 中的跨 Region 推理路由为您的应用程序提供了一条统一的调用路径,覆盖您已在多个 AWS Region 和 AWS 账户中运行的端点和推理组件。路由器优先选择自身所在的 Region,当某个目标位置无法可靠提供服务时,会将新请求转移到其他位置,并在恢复后逐步恢复流量,同时向您展示每个请求在何处运行以及原因。您的端点、模型、容器和自动扩缩策略均无需更改。

跨 Region 推理路由从今天起在大多数商业 AWS Region(me-south-1 和 me-central-1 除外)正式可用,支持实时推理和异步推理。

Amazon SageMaker AI 中的跨 Region 推理路由不收取额外费用。无论请求是直接到达还是通过推理路由器到达,您都需按标准 SageMaker AI 定价为处理请求的 SageMaker AI 端点和推理组件付费。推理路由器会将指标发布到路由器所在账户中的 Amazon CloudWatch,您需为这些指标以及对其执行的任何查询按标准 CloudWatch 费率付费。详情请参阅 Amazon SageMaker AI 定价。

要开始使用,请参阅 Amazon SageMaker AI 文档中关于跨 Region 推理路由的内容,并探索 GitHub 上的示例 notebook。

About the authors

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by AWS Machine Learning
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗