Amazon SageMaker AI 现在可检测推理端点的延迟漂移、空闲 GPU 和错过的优化机会
每个推理端点在投入生产的那一天都经过了充分调优。团队会选择适合模型及其上线时流量情况的实例类型、服务配置和扩缩容设置。端点运行平稳后,团队自然会转向下一个优先事项。然而,工作负载很少一成不变。流量模式会演变,提示词会变长,vLLM 等服务引擎会发布新版本,SageMaker 推理会推出新的优化技术,新的微调检查点会改变模型所需的资源。随着时间推移,一个原本调优良好的端点会悄然漂移。延迟和首 token 时间缓慢上升。一个从未完全理想的配置持续错失可用的性能提升。为从未出现的需求而预置的 GPU 一周又一周地闲置。由于没有任何故障发生,没有告警响起,这种漂移一直不被察觉,直到用户感受到它,或者账单反映出它。
Amazon SageMaker AI 现在通过 Amazon SageMaker Studio 中带有 Agentic 体验的 Generative AI optimized inference recommendations 功能,监控你的生成式 AI 推理端点,并在某项变更可以提升性能或降低成本时通知你。对于使用 vLLM 服务容器和 GPU 实例的 SageMaker AI 推理端点,监控默认开启,无需任何设置,你也可以选择退出对某些端点的监控。SageMaker AI 只查看运维信号:延迟、GPU 利用率和端点的服务配置。它不会读取你的请求或响应。基于这些信号,它会呈现三类发现:
- 延迟漂移:中位数(p50)端到端延迟或首 token 时间逐周上升。
- 未使用容量:你付费但大部分时间处于空闲状态的 GPU。
- 配置缺口:服务容器缺少较新的性能改进或安全补丁,或者你的模型支持但端点未使用的优化,例如投机解码或 GPU 内核调优。
SageMaker AI 通过 AWS Health 发送发现,每个端点一条通知,涵盖该端点的所有发现。收到通知后,你可以在一个地方进行处理。它会在 Amazon SageMaker Studio 中打开 SageMaker AI agentic 体验,并已预填该端点及其近期流量。在那里,你可以运行推理建议,将当前配置与替代方案进行基准测试,并在响应时间、吞吐量和每百万 token 成本方面并排比较。这将主观判断转变为有数据支撑的决策。基准测试在独立的计算资源上运行,在你选择应用某个结果之前,端点不会有任何变化。
在这篇文章中,我们展示 SageMaker AI 如何监控你的端点,以及如何解读它通过 AWS Health 发送的通知。然后我们展示如何从通知出发,在 SageMaker Studio 中做出有基准测试支撑的决策。我们演示三个示例场景,展示如何安全地应用或忽略建议,并说明如何让某个端点退出监控。
解决方案概述
SageMaker AI 推理建议遵循一个四步循环:观察、通知、建议和决策。每一步的设计都让你保持掌控,生产端点不会在你未明确操作的情况下被更改。
- 观察 – 对于符合条件的端点,延迟和容量使用情况的监控默认开启。它不会读取你的请求或响应,也不会带来额外的 GPU 成本。
- 通知 – 当有值得处理的情况时,你会收到 AWS Health 中一条通俗语言编写的通知,以及电子邮件,说明观察到了什么、为什么重要,以及建议的下一步。
- 建议(需选择加入)– 一次选择即可打开 SageMaker Studio 中的 SageMaker AI agentic 体验,预填该端点及其观测到的流量,以便你在独立的计算资源上对替代方案进行基准测试。
文章标题:Amazon SageMaker AI 现在可检测推理端点的延迟漂移、空闲 GPU 和错过的优化机会
正文:
- 决策——并排比较响应时间、吞吐量和成本。在你应用结果之前,生产环境不会发生任何变更。
该功能会产生几种类型的发现。下表总结了每种发现的触发条件,以及当你选择进行基准测试时会测试什么。
| 发现 | 触发条件 | 基准测试的内容 |
|---|---|---|
| 延迟漂移 | 响应时间相对于端点逐周趋势发生变化 | 张量并行设置以及备选实例类型或规格 |
| GPU 利用率不足 | GPU 利用率在观察窗口内持续远低于容量 | 在观测到的峰值流量下更便宜的实例类型和更小的规格 |
| 未启用投机解码 | 模型和容器支持,但该功能处于关闭状态(基于配置) | 当前配置与启用投机解码后的配置对比 |
| 服务容器 | 端点的服务容器有更新版本,包含性能改进以及针对严重和高危通用漏洞披露(CVE)的安全补丁。 | 当前容器与更新后的容器对比 |
| 未调优的 GPU 内核 | 内核配置未针对模型和硬件进行调优 | 默认内核与调优后内核对比 |
先决条件
监控本身无需设置,默认开启。以下先决条件适用于你选择通过运行基准测试来对某项发现采取行动,并(可选地)应用变更的情况:
- 对 AWS Health 和 AWS User Notifications 控制台的访问权限。
- 一个 SageMaker Studio 域,以及运行推理推荐作业和更新端点所需的 AWS Identity and Access Management(IAM)权限。
- 要测试的基准测试实例有足够的服务配额。
成本说明:监控不产生 GPU 成本。基准测试按标准 SageMaker AI 费用计费,或者如果你有机器学习(ML)预留,则使用你的预留。
理解发现通知
你会在控制台的 AWS Health 中以及通过电子邮件收到通知,每条通知都遵循相同的结构,因此可以快速浏览:
- 端点:该发现适用于哪个端点。
- 我们注意到的情况:以平实语言陈述的观察结果,估计值会明确标注为估计值。
- 为什么重要:对延迟、容量或成本的影响。
- 建议操作:一键进入 SageMaker Studio 中的 agentic 体验进行调查。
通知报告观察结果并标注估计值。此时尚未运行任何基准测试。一条代表性通知如下:
主题:[可能需要操作] 针对你的端点的 SageMaker AI 推理改进
SageMaker AI 默认跟踪你推理端点的延迟和容量使用情况,并发现其中一个端点有改进空间。它不会读取你的请求或响应。
我们注意到的情况:在过去一周内,该端点的首 token 时间相比前一周有所增加。
建议操作:打开 SageMaker Studio,在独立计算资源上对备选方案进行基准测试。你的生产端点不会发生变更。
频率:每个端点会收到一条涵盖适用发现的通知。你一次最多会收到每个端点的一条通知,涵盖其所有发现,并且 SageMaker AI 会限制一个账户一次收到的通知数量。通知特定于 AWS 区域,因此当你登录到某个端点所在的区域时,才能看到该端点的发现。
演练:从通知到决策
在本节中,我们将回顾几个端点优化场景,这些场景会触发发现报告。
场景 1:捕捉逐周延迟回归
一个团队在单个 SageMaker AI 端点上运行聊天助手。他们添加了检索以提高回答质量,因此现在每个请求都携带数页检索到的上下文,提示词变得长得多。没有任何东西出故障,他们设置的告警也没有触发,但响应开始变慢。
文章标题:Amazon SageMaker AI 现已能检测推理端点的延迟漂移、空闲 GPU 和错过的优化机会
正文: SageMaker AI 会将端点的首 token 中位延迟(p50)和端到端中位延迟与上一周的数据进行比较。当其中任一指标在一周内上升幅度足够大时,它便会标记这一变化。由于比较对象是端点自身的历史数据,团队无需提前设定阈值。
- 通知:AWS Health 报告首 token 时间较前一周有所增加。
- Studio 会话:一次选择即可打开 agentic 体验,并预填该端点及其观测到的流量。
- 基准测试:该会话在独立计算资源上测试张量并行设置及其他实例类型或规格。
- 决策:团队比较延迟、吞吐量和成本,然后将胜出的配置应用到某一个变体上。
以下截图展示了针对延迟漂移发现的 AWS Health 事件。消息报告首 token 中位时间较上周上升约 200 ms,Recommended actions 窗格则链接到 SageMaker AI 以运行推理建议。

图 1:针对延迟漂移发现的 AWS Health 事件,附有在 SageMaker AI 中运行推理建议的链接
场景 2:开启一项你的流量能够受益的优化
一个平台团队在 SageMaker AI 端点上托管了一个内部代码补全模型。他们使用默认的 serving 设置进行部署,此后从未重新审视这些设置。该模型和 serving 容器支持 speculative decoding,这是一种加快响应的技术,但该功能并未启用。SageMaker AI 将此标记为一项机会。它是否有帮助取决于端点的流量,例如有多少请求并发运行,以及提示和响应有多长。该通知建议运行推理建议,这会将 speculative decoding 与端点近期的流量进行基准对比,并显示是否值得开启。
- 通知:AWS Health 报告某项旨在加快响应的技术受支持但未启用。
- Studio 会话:agentic 体验打开,并加载端点配置。
- 基准测试:该会话将当前配置与启用 speculative decoding 的配置进行比较。高峰时段的测试结果可能与低峰时段不同。
- 决策:如果收益在关键流量下依然成立,团队便应用它。否则,他们保留当前配置。
以下截图展示了针对 speculative decoding 发现的 AWS Health 事件。消息报告模型和 serving 容器支持 speculative decoding,但端点并未使用它。Recommended actions 窗格则链接到 SageMaker AI 以运行推理建议。

图 2:针对 speculative decoding 发现的 AWS Health 事件,附有在 SageMaker AI 中运行推理建议的链接
该通知解释了 speculative decoding 可以加快响应,并且基准测试会在端点近期流量上比较启用和不启用该技术的响应时间。
场景 3:为利用率不足的 GPU 调整规格
一个摘要端点为一次发布活动配置了规格,但该活动吸引的受众仅为计划的一小部分,因此其 GPU 在一周内大部分时间处于空闲状态。此场景还展示了一种情况:正确的决策可能是什么都不改。
- 通知:AWS Health 报告该端点为其 GPU 容量付费,但该容量大部分未被使用。
- Studio 会话:agentic 体验打开,并加载端点及其观测到的峰值流量。
- 基准测试:该会话在观测到的峰值流量下测试更便宜的实例类型和更小的规格。
文章标题:Amazon SageMaker AI 现可检测推理端点的延迟漂移、空闲 GPU 和错失的优化机会
正文:
- 决定:团队会权衡每月节省的费用与计划增长所需的余量,并可能决定保持当前规模。
以下截图显示了一条未使用容量发现的 AWS Health 事件。消息指出,在本周的大部分时间里,即使端点最繁忙的 GPU 也仅使用了其容量的 12% 或更少。Recommended actions 窗格会链接到 SageMaker AI,以便运行推理建议。

图 3:未使用容量发现的 AWS Health 事件,带有在 SageMaker AI 中运行推理建议的链接
你可以如上图所示,从推荐操作中选择 Open in SageMaker AI 来应用或忽略某项建议。我们将在下一节中详细说明。
应用或忽略建议
全程由你掌控,不会自动部署任何内容。当你从通知的推荐操作中选择 Open in SageMaker AI 时,Amazon SageMaker Studio 会打开一个 JupyterLab 空间,并显示将在 agentic 聊天中运行的提示。以下截图显示了一个端点上延迟漂移发现的提示,该端点还运行着较旧版本的 vLLM 服务容器:

当你选择 Run 时,agentic 体验会在 SageMaker Studio 的 JupyterLab 空间聊天面板中打开。它会用通俗语言总结该发现,重述你要求它做的事情,并在采取任何行动前与你确认。以下截图显示 agent 正在总结发现并请求继续:

在你确认后,agent 会生成一个 notebook,为该端点创建推理建议作业。该 notebook 使用 SageMaker Python SDK,从端点获取模型,从端点指标获取流量概况,并用 AWS Health 事件为作业打标签,以便你可以将结果追溯到该发现。每个步骤都是单独的 notebook 单元格,因此你可以在运行前查看或编辑。
以下截图显示了记录作业详情并在三种候选实例类型上启动建议作业的 notebook 单元格。

作业完成后,你可以针对响应时间、吞吐量和成本,将当前配置与备选方案进行比较。当你准备好根据基准测试结果采取行动时,我们推荐一种安全的发布模式:
- 在应用前审查建议的变更,包括配置差异以及基准测试的延迟、吞吐量和成本。
- 先应用到一个生产变体,并保留当前配置以便回滚。
- 保留或忽略某个发现是正常结果。通知会保留在你的 AWS Health 事件历史中。
管理监控和通知
你可以管理监控以及通知方式:
- 在 AWS User Notifications 控制台中管理你接收通知的方式。
- 可选地,安排周期性建议,例如每月一次。
收集与不收集的内容:监控在端点级别读取聚合的延迟和容量遥测数据。它不读取你的请求或响应内容,也不产生 GPU 成本。
退出监控:如果你不希望 SageMaker AI 监控某个端点,请在模型的容器上设置 OPT_OUT_TRACKING 环境变量,值可自选。你在调用 CreateModel 时,在 Environment 映射中设置它,可以设置在 PrimaryContainer 上,也可以设置在模型中的其他容器上。
文章标题:Amazon SageMaker AI 现可检测推理端点上的延迟漂移、空闲 GPU 和错过的优化机会
正文: 如果端点上的容器带有此变量,SageMaker AI 将不会为该端点收集任何监控遥测数据,包括引擎指标、GPU 指标和启动配置详情。因此,它不会为该端点发送任何通知。
清理
为避免持续产生费用,请清理您在学习本文章时创建的资源:
- 删除您为演练创建的任何测试端点或资源。
- 删除 Amazon Simple Storage Service (Amazon S3) 中的基准测试产物(如适用)。
- 还原您应用的任何测试配置更改。
结论
借助现已自动监控您端点的 SageMaker AI 推理建议,优化从某个时间点的快照转变为持续性的信号。
您的端点会持续告知您何时出现漂移、何时错过了改进机会,或何时在为闲置容量付费。通过一次选择,即可进入由您掌控的、经过基准测试的并排对比决策。
如需了解更多关于如何开始使用的信息,请访问 Amazon SageMaker AI 并参阅 Amazon SageMaker AI 文档。