Newshot

Amazon SageMaker Inference:2026 年发布回顾(第二部分)

AI summary

模型上线后,团队会关心实际流量下该用哪种配置、如何把更多模型装进已有 GPU、下一个模型太大单机放不下怎么办、为何一个区域的请求在排队而另一区域的 GPU 却闲置,以及为何无人改动延迟却上升。文章按团队通常遇到这些问题的顺序展开,涉及 HyperPod Inference 新增路由策略、对模型服务框架的更广泛支持与多区域网络扩展,Inference Gateway 提供路由,托管 NVIDIA Dynamo 是新的服务框架;托管端点的路线图指向与 AWS AI 生态更深度集成,推理建议可从 Amazon SageMaker AI Studio、SageMaker Python SDK 和工程师已在用的编码代理获取,端点现可跨区域和账户路由请求。

Translation(model translation, not the source's own text)

Amazon SageMaker Inference:2026 年发布回顾,第 2 部分

模型投入生产后,问题就变了。团队想知道,既然流量是真实的,模型应该跑在哪种配置上;如何把更多模型塞进已经在付费的 GPU 里;下一个模型大到一台机器装不下时该怎么办;为什么请求在一个 Region 排队,而另一个 Region 的 GPU 却闲着;以及为什么没人动过任何东西,延迟却上升了。本文按团队通常遇到这些问题的顺序来展开。

对于 HyperPod Inference,它列出了更多路由策略、对模型服务框架更广泛的支持,以及扩展的多 Region 网络。Inference Gateway 负责交付路由能力,而托管版 NVIDIA Dynamo 是一个新的服务框架。对于托管端点,路线图指向与 AWS AI 生态其他部分更深的集成。推理建议现在可以从 Amazon SageMaker AI Studio、SageMaker Python SDK 以及工程师们已经在用的编码代理中运行,端点现在也可以跨 Region 和跨账户路由请求。

为了让每一节都具体,我们在整篇博客中跟随一个假设的团队。春天,他们基于第 1 部分的发布,在一个 70B 参数模型上、通过单个 SageMaker AI 端点上线了一个客户支持助手。到了秋天,他们需要支持更多产品线、采用一个更大的推理模型、在第二个 Region 服务客户,并保持 GPU 账单不增长。

发布一览

本文的五个推理阶段以及各阶段归组的发布内容
本文的五个推理阶段以及各阶段归组的发布内容

图 1:本文的五个阶段及各阶段的发布内容

从你工作的任何地方选择合适的配置

团队在 4 月根据一次基准测试运行选定了第一个配置。此后,他们添加了四个 LoRA(Low-Rank Adaptation)适配器,每个产品线一个,产品团队还设定了峰值负载下首 token 时间(TTFT)500 毫秒的目标。4 月的配置从未针对这两项变化做过测试。将重新运行分析的工程师在 notebook 和编码代理中工作,很少有人使用控制台。

推理建议在 4 月以 API 形式发布。此后的四次更新让它出现在团队工作的更多地方,并能回答两个更难的问题:一个端点可以承载多少个适配器,以及在错过延迟目标之前它能承受多少并发。一项新的 agent skill 将同样的专业知识带入编码代理。

SageMaker AI Studio 中的推理建议(2026 年 7 月)

博客:在 Amazon SageMaker AI 中推出生成式 AI 推理建议 UI

4 月的发布通过 API 实现了实例、容器和优化选择的自动化。推理建议现在也在 SageMaker AI Studio 中以引导式低代码工作流的形式提供。在 Studio 中,选择 Jobs,然后选择 Inference optimization。选择一个用例配置文件(Interact、Generate、Summarize 或 Custom)、一个优化目标(最小化延迟、最大化吞吐量或最小化成本),以及一个来自 SageMaker JumpStart、Amazon Simple Storage Service(Amazon S3)、Model Registry 或现有 SageMaker 模型的模型。

SageMaker AI 使用 NVIDIA AIPerf 在真实 GPU 基础设施上对候选配置进行基准测试,并应用与目标匹配的技术,例如为吞吐量采用推测解码,或为延迟进行内核调优。你可以按 TTFT、token 间延迟、吞吐量和成本比较排序后的结果,然后从 Studio 将选定的配置部署到实时端点。

SageMaker Python SDK v3 中的推理建议(2026 年 8 月)

博客:Amazon SageMaker Python SDK 的 LLM 优化集成

Amazon SageMaker Inference:2026 年发布回顾,第 2 部分

过去,基准测试和推荐需要借助 SageMaker AI Studio 或直接调用 Boto3。现在它们已成为 SageMaker Python SDK v3(版本 3.17.0 及之后)的一部分,与团队用于训练和部署的接口相同,因此这套工作流可以融入 notebook、CI 流水线和 MLOps 工作流。你可以针对自己的工作负载流量对在线端点进行基准测试,为延迟、吞吐量或成本目标生成排序后的推荐,并通过一次调用将排名最高的配置部署到实时端点。

该 SDK 还支持更长的工作流。你可以并行运行推荐任务,以比较 LMI 和 vLLM 等服务框架;也可以从已完成的任务继续,从而在不同的 notebook 或流水线阶段执行部署,而无需重新运行基准测试。

推理推荐中的 LoRA 适配器支持(2026 年 9 月)

开发者指南:为带 LoRA 适配器的模型获取推荐

许多团队使用 LoRA 适配器让一个基础模型适配多个用例。每个保留在 GPU 内存中的适配器都会降低端点可服务的并发请求数量,而合适的平衡取决于实例类型、适配器数量和流量特征。

推理推荐现在支持以模型包 Amazon Resource Name(ARN)形式提供适配器(适用于由 SageMaker 微调生成的适配器),或以 S3 URI 形式提供(适用于来自 Hugging Face PEFT 等外部流水线的适配器)。SageMaker AI 会在真实 GPU 基础设施上对适配器数量与并发的各种组合进行基准测试,并针对你的工作负载返回排序后的结果。输出会为每个适配器列出两种格式。推荐的部署使用 SageMaker Inference Components,其中基础模型一个组件,每个适配器各一个组件,因此你可以在不干扰基础模型或其他适配器的情况下添加、更新或移除适配器。

基于 SLA 的并发搜索(2026 年 9 月)

博客:在 Amazon SageMaker AI 上通过并发扫描为生成式 AI 端点选择合适的规格

为端点选择合适的规格,意味着找到它在不违反延迟或错误目标的前提下所能承受的最高并发。在此之前,这需要手动选择并发级别、运行扫描、对照服务等级协议(SLA)检查结果,并在模型或实例发生变化时以更窄的范围重复进行。

推理推荐现在包含一种直接找到该边界的搜索。将 search_recipe 设置为 max-concurrency-under-sla,并为最大 TTFT、每个输出 token 的最大时间、最大端到端延迟和最大错误率的任意组合提供目标值。基准测试引擎(AIPerf)从较宽的范围开始,根据探测通过或失败的情况收窄范围,并以比线性扫描更少的迭代次数收敛。结果会报告通过的最大并发(feasible_max);如果没有任何级别合格,则报告失败的最小并发(infeasible_min)。

该搜索使用与并发扫描相同的 CreateAIWorkloadConfig 和 CreateAIBenchmarkJob API。可选参数(concurrency_min、concurrency_max、search_max_iterations 和 search_initial_points)可限制成本并加快收敛。

面向优化生成式 AI 推理的 agent skill(2026 年 10 月)

博客:全新 agent skill:为你的编码代理提供 Amazon SageMaker 优化生成式 AI 推理

工程师越来越多地向他们的编码代理询问该使用哪个实例和容器。如果没有可靠的知识和对真实基准测试的访问,代理只能猜测,而错误的实例选择会在之后表现为未达延迟目标或浪费开支。

通过 Agent Toolkit for AWS 提供的 aws-ai-ml skill,为 Kiro 等编码代理内置了 SageMaker AI 推理专业知识。工程师用自然语言描述自己的需求,代理可以执行以下操作:

  • 找到合适的实例。针对 Amazon S3、SageMaker JumpStart 或 Hugging Face Hub 中的模型,给出带有实测吞吐量、延迟和 TTFT 的排序部署选项。

文章标题:Amazon SageMaker Inference: 2026 launches in review, part 2

正文:

  • 对线上端点进行基准测试。一份基于真实负载的报告,涵盖吞吐量、P50 和 P99 延迟、token 间延迟以及支持的并发数。
  • 对比多次运行。每一项指标的百分比变化,由此可以看出某项配置变更是否带来了改善。

答案基于实测性能,并以 SageMaker Python SDK v3 代码的形式交付,由工程师审阅并在自己的凭证下运行。配置大约需要 10 分钟。该技能可与任何支持 Model Context Protocol(MCP)的 agent 配合使用,也可在 SageMaker AI Studio JupyterLab 空间中使用。

对于支持团队而言,一个包含全部四个适配器的推荐任务,再加上针对 500 毫秒 TTFT 目标的并发搜索,取代了他们四月份进行的手动扫描。负责该任务的工程师可以从 notebook 启动任务,也可以让编码 agent 来运行它。

在每块 GPU 上容纳更多模型

支持助手并非单独运行。一个 embedding 模型、一个 reranker,以及一个负责工单路由的小型分类器都位于同一个账户中,且各自只占用 GPU 的一小部分。在标准端点上,每个模型副本仍然独占一整块加速器,因此团队在 GPU 内存闲置的同时却用尽了放置槽位。

SageMaker AI 控制台中的 Inference Components(2026 年 10 月)

借助 Inference Components,你可以在一个端点上托管多个模型,并分别对每个模型进行规格设定和扩缩容。在此之前,它们只能通过 SDK 和 AWS Command Line Interface(AWS CLI)使用。每一次创建、调整规格和扩缩容策略都必须通过脚本完成,而且没有统一的视图来查看每个模型正在使用什么资源。

在 SageMaker AI 控制台中,你现在可以创建、查看、更新和删除 inference components:

  • 创建与编辑。使用 inference components 创建端点,之后添加或删除组件,并更改每个组件的加速器、CPU、内存和副本数。
  • 分别扩缩容每个模型。为每个组件设置自动扩缩容策略,最低可至零个副本,这样空闲模型就不再占用加速器。
  • 监控。在同一页面上查看告警和各组件的指标。

控制台调用与 SDK 和 CLI 相同的 SageMaker AI API,因此团队可以先在控制台上开始,之后再实现自动化,或者以可视化方式管理通过脚本创建的组件。

使用 NVIDIA Multi-Instance GPU 进行 GPU 分区(2026 年 10 月)

博客:SageMaker Inference 现已支持 Multi-Instance GPU,以最大化模型端点的 GPU 利用率

GPU 分区使用 NVIDIA Multi-Instance GPU(MIG)技术,根据加速器的不同,将一块物理 GPU 划分成最多七个分区。每个分区拥有专用的 GPU 计算和内存,并具备完整的硬件隔离。你在为 inference components 创建端点时定义分区布局,并为每个组件选择一种分区类型。应用程序仍然通过 inference component 名称来调用模型,因此客户端代码无需更改。

MIG 在分区之间隔离 GPU 计算和内存。同一实例上的模型仍然共享主机 CPU、主机内存、网络、存储和端点路由。你按整实例小时的标准费率付费,因此节省来自在每台实例上放置更多模型,而不是来自更低的每小时价格。

三个小模型分别位于三块 GPU 上,与同样的模型共享一块 GPU 的各个分区进行对比
三个小模型分别位于三块 GPU 上,与同样的模型共享一块 GPU 的各个分区进行对比

图 2:三个小模型位于三块 GPU 上,与同样的模型位于一块 GPU 的各个分区中进行对比

对于支持团队而言,embedding 模型、reranker 和分类器现在运行在单个端点上一块 GPU 的独立分区中,团队可以从控制台管理每一个组件,包括助手及其适配器。

服务大于单个实例的模型

团队的下一个模型是一个推理模型,仅其权重就超过了任何单个实例的 GPU 内存。他们还注意到,冗长、检索密集的 prompt 会拖慢端点上其他所有用户的 token 生成速度。对于这种规模的模型,他们将工作负载迁移到 HyperPod Inference,从而获得专用集群和 Kubernetes 原生控制。支持助手则继续留在托管端点上。

HyperPod Inference 上的托管 NVIDIA Dynamo(2026 年 11 月)

博客:Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference

第 1 部分介绍了 HyperPod 上大模型的两块构建基石:Inference Operator v3.2 中的分离式 prefill 和 decode,以及作为托管分层 KV cache 一部分的 KV 感知路由。本次发布新增了多节点服务能力,并改变了由谁来运维这套栈。NVIDIA Dynamo 是一个开源推理框架,提供多节点分片服务、分离式 prefill 和 decode,以及 KV 感知路由。团队此前已经可以在自己的 Kubernetes 集群上运行 Dynamo,但必须自行构建和运维周边的一切:将一个副本的所有节点放在一起、配置 Elastic Fabric Adapter(EFA)网络以便 prefill 能以硬件速度把 KV cache 交给 decode、维护服务镜像,以及在一个故障节点拖垮多节点副本时进行恢复。

有了本次发布,Dynamo 作为托管服务引擎运行在 HyperPod 上。Dynamo 做出服务决策:模型如何分片、prefill 和 decode 如何拆分、每个请求发往哪里。HyperPod 提供这些决策所依赖的能力:

  • 容量与网络。GPU 容量和 EFA 网络,自动预置并完成接线。
  • 节点恢复。节点健康监控与替换,节点故障时自动重新调度多节点 worker。
  • 端点运维。自动扩缩、端点注册、TLS 和可观测性。
  • 单一的安装与升级路径。Inference Operator 附加组件将 Dynamo、服务镜像以及 Grove 和 KAI 调度器作为一个单元安装,并一起升级。

Dynamo 为 HyperPod 带来的能力包括:

  • 多节点(分片)服务。模型的一份副本跨多个节点,因此可以服务无法放入任何单个实例的模型。
  • 分离式 prefill 和 decode。Prompt 处理和 token 生成运行在独立的 GPU 池上,每个池使用适合其工作的实例类型,因此长 prompt 不再拖慢其他用户的响应。
  • KV 感知路由。每个请求都发往已持有其 KV cache 的 worker,从而降低 TTFT。

有三种上手方式。在自管理 Kubernetes 上运行 Dynamo 的团队可以基本原样沿用现有的 DynamoGraphDeployment(DGD)清单。已经在使用 HyperPod Inference 的团队可以更新附加组件,并在现有 InferenceEndpointConfig 中添加一小段 dynamoSpec 配置块,HyperPod 会将其转换为 DGD,同时现有端点继续提供服务。两者都尚未使用的团队可以从控制台创建集群并启用附加组件和 Dynamo。无论哪种方式,客户端调用的都是标准的 OpenAI 兼容端点,因此客户端代码无需更改。

托管 Dynamo 支持 vLLM、SGLang 和 TensorRT-LLM,并已在提供 Amazon SageMaker HyperPod 的区域推出。

运行在 Amazon SageMaker HyperPod Inference 上的托管 NVIDIA Dynamo 架构
运行在 Amazon SageMaker HyperPod Inference 上的托管 NVIDIA Dynamo 架构

图 3:HyperPod Inference 上的托管 NVIDIA Dynamo

对于支持团队而言,该推理模型以跨多个节点的单个分片副本运行,并配有独立的 prefill 和 decode 池。当某个节点发生故障时,HyperPod 会替换该节点并重新调度副本,无需呼叫值班工程师。

将每个请求发送到能够处理它的 GPU

文章标题:Amazon SageMaker Inference:2026 年发布内容回顾,第 2 部分

正文: 该支持助手目前为北美和欧洲的客户提供服务,因此团队在两个区域运行端点和 HyperPod 集群。在美国早高峰时段,请求在美国区域排队,而团队已经付费的 GPU 却在欧洲闲置。部分欧洲流量还必须留在欧洲。

路由决定了团队拥有的容量是否能做有用的工作。它发生在四个层面,下面的发布内容各覆盖一个层面:端点内哪个实例服务请求、HyperPod 集群内哪个 pod、整个舰队中哪个集群,以及跨区域和账户时哪个区域端点。

跨区域以及两个部署路径上每个端点或集群内部的路由
跨区域以及两个部署路径上每个端点或集群内部的路由

图 4:跨区域以及每个端点或集群内部的路由,适用于两个部署路径

面向端点的 KV-cache 感知路由(2026 年 11 月)

博客:Amazon SageMaker AI 实时端点现已支持 KV cache 感知路由

具有长提示或多轮对话的应用会在请求之间重复大量前缀。模型服务器可以复用匹配的 KV cache,但前提是下一个请求到达持有该缓存的实例。第 1 部分介绍的 prefix-aware 路由会对每个提示的开头进行指纹识别,并将匹配的提示发送到同一实例。由于它基于请求历史工作,随着模型服务器添加和逐出条目,它对每个实例缓存的视图会变得不太准确。

KV-cache 感知路由使用模型容器报告的缓存状态。容器将缓存创建和逐出事件发布到中央缓存索引,SageMaker AI 将每个请求路由到持有最长匹配缓存前缀的合格实例。这提高了长上下文提示、多轮对话以及共享动态提示前缀的工作负载的缓存复用率。

它适用于单模型端点以及使用推理组件的端点,包括 LoRA 适配器。它支持 InvokeEndpoint、InvokeEndpointWithResponseStream,以及用于 Completions 和 Chat Completions 负载的 OpenAI 兼容 API。你在端点配置中启用它。首个版本需要 AWS 验证的模型容器,该容器实现缓存事件、分词、指标和 OpenAI 兼容接口。你可以在详细推理可观测性中跟踪 KV cache 命中率。

该用哪一个。Prefix-aware 路由适用于任何容器,无需更改容器。KV-cache 感知路由需要经过验证的容器并跟踪实际缓存,当前缀变化或缓存快速更替时帮助最大。

面向 HyperPod 的 Inference Gateway(2026 年 9 月)

博客:推出 Amazon SageMaker HyperPod Inference Gateway

在 HyperPod 集群内部,容量和需求很少能对齐。一个 pod 可能正在处理长上下文请求,其 KV cache 几乎已满,而下一个 pod 处于空闲状态,或者已经持有下一个请求所需的前缀或 LoRA 适配器。如果无法了解该 GPU 状态,新请求会在繁忙的 pod 后面排队,团队会添加 GPU 来保护延迟,而不是使用已有的 GPU。每个模型也都有自己的端点,因此客户端必须跟踪每个模型一个端点。

Inference Gateway 是一个 GPU 感知路由器,随 HyperPod Inference Operator 附加组件安装,并为每个集群的所有模型提供一个 OpenAI 兼容端点。对于每个请求,它读取每个模型 pod 的实时信号并选择最佳 pod,其权重可按工作负载调优:

  • KV cache 利用率。避免缓存几乎已满的 pod。
  • 队列深度和运行中请求。避免有积压的 pod,并平衡活跃工作。
  • 前缀缓存命中率。优先选择可能持有提示前缀的 pod。
  • LoRA 适配器驻留。优先选择已持有请求适配器的 pod,从而避免交换延迟。

文章标题:Amazon SageMaker Inference:2026 年发布回顾,第二部分

正文: 与轮询路由相比,它在混合 GPU 代际上将 P99 TTFT 最多降低 97%,在突发流量下最多降低 98%。它在所有提供 SageMaker HyperPod 的区域均可用。

Amazon SageMaker AI 中的跨区域推理路由

博客:借助 Amazon SageMaker AI 中的跨区域推理路由,在区域容量短缺期间保持推理持续运行

在托管端点上,同样的思路体现为跨区域推理路由(Cross-Region Inference Routing):这是一种托管路由,可将实时和异步请求发送到团队已部署的跨区域端点,这些端点可以位于同一账户或不同账户。你将服务于同一模型的端点归入一个路由目标(routing target),应用程序调用该目标,而不是调用某个特定的区域端点。路由器不会增加容量、复制模型或部署端点,现有的调用路径保持原样可用。

路由器取代了团队目前自行构建的故障转移逻辑:

  • 单一调用路径。SageMaker 首先尝试本地端点,当本地端点无法处理请求时,将流量转移到另一个已注册的端点。
  • 单一路由策略。该策略将端点指标与服务侧容量信号相结合,包括客户自身无法观测到的容量不足错误。
  • 私有连接。跨区域流量通过 AWS PrivateLink 传输,并采用托管的跨账户授权模型,因此路由到另一个区域或账户不需要互联网或 NAT 网关。
  • 溢出与驻留防护栏。端点所有者可以限制回退端点接受的跨区域流量上限,应用程序也可以限制哪些区域可以处理请求。
跨区域推理路由器在区域端点之间的请求流程
跨区域推理路由器在区域端点之间的请求流程

图 5:跨区域推理路由器请求流程

上线后持续调优端点

迁移两个月后,团队为支持助手添加了检索功能,平均提示长度大约翻倍。此时 TTFT 高于上线时的水平,但没有任何故障发生,因此所有告警都保持绿色。当团队找到更好的配置时,他们需要在大规模 GPU 实例上推广该配置,而这些实例很难再获取更多。

持续性能监控(2026 年 11 月)

博客:Amazon SageMaker AI 现可检测推理端点上的延迟漂移、空闲 GPU 和错失的优化机会

Amazon SageMaker AI 现可持续监控你的生成式 AI 推理端点,并在某项变更可能提升性能或降低成本时通知你。监控对 SageMaker AI 推理端点默认开启,无需任何设置,你也可以选择退出某些端点。SageMaker AI 仅查看运维信号:延迟、GPU 利用率和端点的服务配置。它不会读取你的请求或响应。当某项发现通过其置信度阈值时,AWS Management Console 上会出现通知,对于在 notebook 和 CLI 中工作的团队,同一消息也会通过电子邮件送达。推荐操作会打开 SageMaker AI Studio 中的 SageMaker AI agentic 体验,并已预填该发现,因此分析、比较和部署变更都在一次对话中完成。在你应用之前不会部署任何内容,并且你可以随时关闭监控。

共有三种类型的发现:

  • 流量变化后的延迟漂移。当添加检索等变更使提示变长时,TTFT 会上升。该发现会量化逐周的回归程度,并建议针对近期流量重新运行推理建议,以找到能将 TTFT 降回的配置。
  • 自部署以来就存在的配置差距。该端点从未针对其工作负载进行良好调优,该发现会指出可弥合差距的变更。
  • 空闲 GPU 容量。当容量一周又一周地闲置时,该发现会提示有机会对端点进行适当调整(right-size)并降低成本。

就地滚动模型更新(2026 年 11 月)

标准滚动更新一次替换一个批次的端点,而每个批次都在新预置的实例上运行。在大型 GPU 集群上,这意味着每一步都要寻找新容量,而当下一批实例不可用时,更新可能会在中途失败。每个被释放的实例还必须完成清理才能再次使用,这会拖慢发布速度。

SageMaker AI 现在可以就地更新模型。它在开始时预置一小批额外实例,将流量切换到该批次,然后更新其释放的实例,复用这些实例将变更滚动到集群的其余部分。更新仍分阶段推出,但只需要一次新容量。对于拥有 20 个实例、批次大小为 2 的集群,更新只需获取 2 个新实例,而不是 20 个。客户无需做任何更改。与第 1 部分中的容器缓存一样,这项改进会自动应用于滚动模型更新。

标准滚动更新在每一步获取新实例,与复用集群的就地更新对比
标准滚动更新在每一步获取新实例,与复用集群的就地更新对比

图 6:滚动更新在每一步都获取新实例。就地滚动更新在开始时获取一个批次,并复用集群的其余部分

对于支持团队,Drift Watch 发现会量化 TTFT 回退,并针对近期流量开启一个新的推荐作业。他们用一批额外实例推出更新后的模型,而不是为集群中的每个实例寻找新的 GPU 容量。

总结:13 项发布,接续第 1 部分

编号接续第 1 部分中的 13 项发布。

14. SageMaker AI Studio 中的推理建议(2026 年 7 月)。一个引导式、低代码的工作流,用于生成经过排名和基准测试的配置,并可从 Studio 部署。 15. SageMaker Python SDK v3 中的推理建议(2026 年 8 月)。从笔记本或管道进行基准测试、推荐和部署,支持并行和可恢复的作业。 16. 推理建议中的 LoRA 适配器支持(2026 年 9 月)。针对并发量对适配器数量进行基准测试,并将适配器作为推理组件部署。 17. 基于 SLA 的并发搜索(2026 年 9 月)。找到满足 TTFT、延迟和错误率目标的最高并发量。 18. 用于优化生成式 AI 推理的 Agent 技能(2026 年 10 月)。从兼容 MCP 的编码代理进行实例选择、基准测试和运行比较。 19. SageMaker AI 控制台中的推理组件(2026 年 10 月)。无需脚本,即可在多模型端点上创建、扩缩和监控每个模型。 20. 使用 NVIDIA MIG 的 GPU 分区(2026 年 10 月)。每个 GPU 最多七个隔离分区,按推理组件分配。 21. HyperPod Inference 上的托管 NVIDIA Dynamo(2026 年 11 月)。多节点和分离式服务,由 HyperPod 在底层运营平台。 22. KV 缓存感知路由(2026 年 11 月)。根据容器的缓存事件,将每个请求路由到持有最长缓存前缀的实例。 23. 适用于 HyperPod 的 Inference Gateway(2026 年 9 月)。每个集群一个端点,支持 GPU 感知路由,P99 TTFT 比轮询低多达 97%。 24. 跨区域推理路由器。通过 PrivateLink 在区域和跨账户端点之间路由,并具有溢出和驻留防护措施。 25. 持续性能监控。检测延迟漂移、配置缺口和空闲容量,并在 SageMaker AI Studio 中提供引导式修复。 26. 就地滚动模型更新(2026 年 11 月)。在开始时用一批额外实例推出模型更新,然后在集群中复用现有实例。

文章标题:Amazon SageMaker Inference: 2026 launches in review, part 2

正文:

  1. SageMaker AI Studio 中的推理推荐(2026 年 7 月)。一个引导式、低代码的工作流,用于生成排序、基准测试过的配置,并可从 Studio 部署。
  1. SageMaker Python SDK v3 中的推理推荐(2026 年 8 月)。可在 notebook 或 pipeline 中进行基准测试、推荐和部署,支持并行和可恢复的作业。
  1. 推理推荐中的 LoRA 适配器支持(2026 年 9 月)。针对并发对适配器数量进行基准测试,并将适配器作为推理组件部署。
  1. 基于 SLA 的并发搜索(2026 年 9 月)。找到满足 TTFT、延迟和错误率目标的最高并发。
  1. 用于优化生成式 AI 推理的 Agent skill(2026 年 10 月)。从兼容 MCP 的编码代理中进行实例选择、基准测试和运行比较。
  1. SageMaker AI 控制台中的推理组件(2026 年 10 月)。无需脚本即可在多模型端点上创建、扩缩和监控每个模型。
  1. 使用 NVIDIA MIG 的 GPU 分区(2026 年 10 月)。每个 GPU 最多可划分为七个隔离分区,按推理组件分配。
  1. HyperPod Inference 上的托管 NVIDIA Dynamo(2026 年 11 月)。多节点和分离式服务,底层由 HyperPod 运营平台。
  1. KV-cache 感知路由(2026 年 11 月)。基于容器发出的缓存事件,将每个请求路由到持有最长缓存前缀的实例。
  1. 面向 HyperPod 的 Inference Gateway(2026 年 9 月)。每个集群一个端点,具备 GPU 感知路由,P99 TTFT 相比轮询低至多 97%。
  1. 跨区域推理路由器。通过 PrivateLink 在区域和跨账户端点之间路由,并带有溢出和驻留防护机制。
  1. 持续性能监控。检测延迟漂移、配置缺口和闲置容量,并在 SageMaker AI Studio 中提供引导式修复。
  1. 原地滚动模型更新(2026 年 11 月)。在开始时用一批额外实例推出模型更新,然后在整个集群中复用现有实例。

到年底,支持团队从一个基础模型服务四条产品线,在共享 GPU 上运行其小模型,服务一个任何单实例都无法容纳的推理模型,并在两个区域之间路由流量并带有驻留控制。它无需为此构建自己的基准测试框架、故障转移逻辑或漂移监控。

第 1 部分论证了 AI 推理中的优势来自运营高效的推理栈。这 13 项发布将这一论点应用到了上线日之后的数月。AWS Experience-Based Acceleration 计划可以通过对您的工作负载进行基准测试,并依据您的 SLA 和成本目标配置您的推理栈,帮助您的团队将它们投入使用。

下一步是什么

在托管端点上,我们计划在 2027 年初扩展原地滚动更新,推出先缩容再更新(scale-in-first updates),从而在模型更新期间不再需要任何额外实例。

本文中每项功能的文档和入门指南都在 Amazon SageMaker AI Developer Guide 中。从与您当前问题匹配的章节开始。如果您的流量自部署以来已发生变化,请重新运行推理推荐。如果您的放置槽位不足,请将小模型迁移到分区 GPU 上。如果请求排队而您拥有的容量闲置,请为您的集群和端点注册跨区域路由。

参考资料

  • Amazon SageMaker Inference: 2026 year-to-date launches in review
  • New agent skill: Amazon SageMaker optimized generative AI inference for your coding agent
  • Introducing Amazon SageMaker HyperPod Inference Gateway
  • What’s New: GPU partitioning for SageMaker AI

关于作者

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by AWS Machine Learning
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗