在 Amazon SageMaker HyperPod 中推出增强的基础设施可观测性
大规模模型训练是你在 GPU 上能运行的最昂贵的工作负载之一,而单个不健康的加速器就可能让整个分布式作业停滞。当训练吞吐量下降时,难的地方很少是注意到出了问题,而是弄清楚原因和位置。团队常常花费数小时甚至数天翻查日志和彼此割裂的仪表盘,只为判断一次变慢是来自被限流的 GPU、饱和的网络链路,还是主机上停滞的数据流水线。
今天,我们宣布在 Amazon SageMaker HyperPod 中推出增强的可观测性,这是一项新能力,帮助你更快诊断 GPU 训练问题。它把运行在 Amazon Elastic Kubernetes Service(Amazon EKS)和 Slurm 编排器上的训练工作负载的诊断与性能分析能力汇聚在一起:
诊断摘要使用 Amazon CloudWatch 的 DetectGroupOutliers API,在利用率、内存、温度、功耗和 SM 时钟方面比较训练作业中的每个 GPU,并标记出偏离同类的 GPU。静态诊断规则会揭示常见故障模式,例如 GPU 硬件故障(XID 错误、ECC 内存错误)、EFA 吞吐量下降、热降频和过热,让你在性能退化影响训练之前就发现它。
为什么需要它
分布式训练成本高昂,微小的低效会累积成大量被浪费的 GPU 小时。在此之前,要获得对 HyperPod 基础设施的可见性,意味着把彼此独立的工具拼凑起来,而且即便如此,指标也只告诉你性能已经退化,却没有告诉你原因。
增强的可观测性填补了三个缺口。它能在数百或数千个 GPU 中隔离出单个坏加速器,无论是通过 XID 错误、ECC 内存故障还是热降频,让你把时间花在修复上而不是搜寻上。
这些能力共同缩短了故障排查时间,并帮助你让昂贵的加速器保持忙碌。
工作原理
每项能力针对分布式训练作业的不同层次。
默认指标与高级指标
增强的可观测性在两个层面采集遥测数据:
默认指标(自动启用)覆盖集群健康、CPU/磁盘/操作系统级使用情况、GPU 利用率和温度,以及按作业的资源利用率。这些指标每 30 秒采集一次,发送到你选择的指标存储,CPU 开销约为 1–2%,内存占用为 250–300 MB。
高级指标(需主动选择启用)提供更深入的可见性:
- 完整的 node exporter 套件:全面的主机级指标。
- 所有 NVIDIA GPU DCGM 和 AWS Neuron 指标:详细的加速器遥测,包括时钟速度、功耗、PCIe 活动和错误指示。
- Elastic Fabric Adapter(EFA)指标:网络接口吞吐量、丢包、重传和错误。
高级指标是可选的,因为它们会增加发送到指标存储的遥测数据量,从而带来成本影响。在小型集群上运行小型作业的大多数客户可能不需要它们,但对于大型集群上的长时间训练作业来说,它们是必不可少的,因为模式会随时间显现。
指标存储
你可以在两种指标存储之间选择:
- Amazon CloudWatch(新的默认选项)通过 CloudWatch SageMaker Insights 提供原生监控,让你无需离开 AWS Management Console 就能可视化指标。
- Amazon Managed Service for Prometheus,适合以 Prometheus 和 Grafana 作为可观测性标准方案的团队。
此前仅支持 Prometheus。CloudWatch 现在是默认选项,相比 Amazon Managed Service Prometheus 提供更低的价格,并与 SageMaker 控制台更紧密地集成。
诊断摘要
诊断摘要使用两种互补的方法来揭示 HyperPod 集群中的问题。
在 Amazon SageMaker HyperPod 中引入增强的基础设施可观测性
GPU 异常检测使用 CloudWatch 的 DetectGroupOutliers API,在训练作业内的 GPU 之间比较利用率、内存使用量、温度、功耗和 SM 时钟频率。当某个 GPU 与同类 GPU 出现显著偏差时,它会在诊断摘要中显示为异常卡片。此功能对 EKS 和 Slurm 作业均适用。
静态诊断规则评估已知故障模式,并按类型组织检测到的问题:
- 硬件:GPU ECC 内存错误、XID 故障、加速器故障。
- 网络:EFA 吞吐量下降、丢包、重传。
- 降频:因温度、板卡或可靠性限制导致的 GPU 时钟降频。
- 过热:GPU 温度超过配置的限制。
每个检测到的问题都会标识受影响的作业、集群、节点、加速器和 rank。
如何开始
增强可观测性以 EKS 编排集群的附加组件(add-on)形式提供,并以 Slurm 编排集群的扩展(extension)形式提供,这意味着你可以通过 AWS Identity and Access Management (IAM) 控制谁可以安装或更改它。
步骤 1:创建 SageMaker HyperPod 集群
如果你已有集群,可以直接使用。要创建新的 SageMaker HyperPod 集群,你可以按照分步大纲操作。总体而言,步骤如下:
- 在 Amazon SageMaker AI 控制台的导航窗格中,选择 HyperPod clusters。
- 选择 Create HyperPod cluster,并选择 Orchestrated on Amazon EKS 或 Orchestrated by Slurm。
- 在 Setup options 中,选择 Custom setup。
- 在 Name 中,输入一个名称。
- 在 Instance recovery 中,选择 Automatic。
- 选择 Submit。
以下截图显示了 Create HyperPod cluster 页面。

图 1:在 Amazon EKS 上使用 Custom setup 创建 HyperPod 集群
步骤 2:配置 HyperPod 可观测性
在 Custom setup 工作流中,展开 HyperPod observability 部分:
- Enable HyperPod Observability 默认处于勾选状态。仅当你不需要可观测性时才取消勾选。
- Observability metrics 显示默认指标(集群健康状况、CPU/磁盘/操作系统、GPU 利用率/温度、每作业资源)以及可选的高级指标。
- 根据需要选择高级指标:Full node exporter suite、All NVIDIA GPU DCGM/Neuron metrics 和 EFA metrics。
- Enable logging 用于为容器和 pod 日志创建 CloudWatch 日志组。
- 在 Metric store 中,选择 Amazon CloudWatch(默认)或 Amazon Managed Service for Prometheus。
- 在 Grafana workspace 中,选择创建新工作区、使用现有工作区或选择 None。
- 配置 IAM 角色,或让控制台自动创建它们。
下图显示了自定义设置路径中 HyperPod 可观测性的配置选项:

图 2:HyperPod observability 部分,显示默认指标和高级指标、指标存储(CloudWatch 或 Prometheus)以及 Grafana 工作区
注意:在 Quick setup 中,HyperPod 可观测性默认启用且无法取消勾选。Custom setup 让你可以控制启用哪些指标类别和高级指标。
步骤 3:使用 CLI 安装可观测性附加组件(替代方案,EKS)
你可以从 AWS Management Console 或通过 API 安装 HyperPod 可观测性附加组件(EKS)或扩展(Slurm)。或者,你也可以使用 AWS Command Line Interface (AWS CLI) 安装该附加组件。
以下命令会创建该附加组件,启用基本指标类别,并保持可选的 profiling 功能关闭:
aws eks create-addon \
--cluster-name <cluster-name> \
--addon-name amazon-sagemaker-hyperpod-observability \
--region <region> \
--configuration-values '{
"metricsDestination": "cloudwatch",
"metricsProvider": {
"nodeMetrics": {"level": "BASIC", "scrapeInterval": 30},
"acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30}
},
"profilesProvider": {
"hostProfiling": {"enabled": false}
}
}'
验证该附加组件处于 ACTIVE 状态:
aws eks describe-addon \
--cluster-name <cluster-name> \
--addon-name amazon-sagemaker-hyperpod-observability \
--region <region> \
--query 'addon.status'
下图展示了集群的 Add-ons 标签页上的可观测性附加组件。

Figure 3: 集群 Add-ons 标签页上的可观测性附加组件,已处于活动状态并向 Amazon CloudWatch 发送指标
Step 4: 启用指标(EKS)
你可以随时启用或禁用任何指标类别或性能分析能力。对于 EKS 集群,使用 AWS Command Line Interface(AWS CLI)更新附加组件配置。以下命令开启高级网络(EFA)指标:
aws eks update-addon \
--cluster-name <cluster-name> \
--addon-name amazon-sagemaker-hyperpod-observability \
--region <region> \
--configuration-values '{
"metricsDestination": "cloudwatch",
"metricsProvider": {
"nodeMetrics": {"level": "BASIC", "scrapeInterval": 30},
"acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30},
"networkMetrics": {"level": "ADVANCED", "scrapeInterval": 30}
}
}'
在控制台中,选择 Actions,然后在附加组件卡片上选择 Edit 以进行相同的更改。下图展示了 Actions 按钮。

Figure 4: 使用 Actions → Edit 启用或禁用指标类别和性能分析
Slurm 集群:安装或编辑可观测性扩展
在由 Slurm 编排的集群上,HyperPod 可观测性是一个集群扩展。在集群详情页中,打开 Extensions 标签页。如果该扩展已安装,选择 Actions,然后选择 Edit。下图展示了 Slurm 集群 Extensions 标签页上的可观测性扩展。

Figure 5: Slurm 集群 Extensions 标签页上的可观测性扩展,带有 Actions → Edit
编辑页面为每个指标类别设置采集级别。

Figure 6: 在 Slurm 集群上编辑可观测性:指标类别、主机性能分析和指标存储
改用 AWS CLI 安装该扩展:
文章标题:Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod
正文:
aws sagemaker create-cluster-extension \
--cluster-arn <cluster-arn> \
--extension-name sagemaker-observability \
--region <region> \
--configuration-values '{
"metricsProvider": {
"clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
"nodeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30},
"acceleratedComputeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30},
"jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}
},
"profilesProvider": {"hostProfiling": {"enabled": false}}
}'
要开启 EFA 指标,请更新该扩展:
aws sagemaker update-cluster-extension \
--cluster-arn <cluster-arn> \
--extension-arn <extension-arn> \
--region <region> \
--configuration-values '{
"metricsProvider": {
"clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
"nodeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30},
"acceleratedComputeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30},
"networkMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
"jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}
}
}'
使用 aws sagemaker describe-cluster-extension --cluster-arn <cluster-arn> --extension-arn <extension-arn> 检查状态。
第 5 步:确认指标正在持续传输
集群就绪后,进入集群的详情页面。新增的 Observability 标签页会显示一个概览,其中包含:
- 节点:节点总数(例如 128)。
- 加速器:GPU/加速器总数(例如 1024)。
- 作业:活跃及近期训练作业的数量。
- 平均 GPU 利用率:全集群平均值(例如 87.3%)。
- 平均 vCPU 利用率:全集群平均值(例如 76.8%)。
- 平均内存利用率:全集群平均值(例如 83.5%)。
下图展示了 Cluster Observability 标签页,其中包含概览指标、活跃及近期训练作业,以及活跃问题:

图 7:新增的 Observability 标签页——全集群概览、活跃训练作业及检测到的问题
CloudWatch 看板
在 Observability 标签页中,选择 Open dashboard 即可进入 CloudWatch SageMaker Insights 体验。该看板提供多种视图:
诊断摘要
Diagnostic summary 会显示在您的 HyperPod 集群中检测到的事件。无论是硬件故障、网络问题、限流还是过热,都能定位其根本原因。
选择任意事件卡片即可查看更多详情。每张卡片都会标明受影响的作业、集群、加速器和 rank。
以下截图展示了 Diagnostic summary 标签页:

图 8:Diagnostic summary,每张事件卡片都会标明作业、集群、加速器和问题类型,并附有跨层说明
下图展示了一个事件详情:

图 9:事件详情,展示受影响的作业、集群、实例和加速器,以及与全集群平均值对比的证据图表
硬件标签页
文章标题:Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod
正文: Hardware 选项卡提供加速器集群的设备级视图。集群拓扑图显示每个设备的状态(Active、Idle 和 Unhealthy)。设备表列出加速器类型、所属团队、利用率、温度、EFA 使用情况、状态以及每个设备上运行的工作负载。你可以按状态、加速器或团队进行搜索和筛选,从而快速找到不健康的设备。
以下截图展示了 Hardware 选项卡:

图 10:Hardware 选项卡,显示集群拓扑以及每台设备的加速器、团队、利用率、温度、EFA、状态和工作负载
Workload 选项卡
Workload 选项卡列出活跃和最近的训练作业,以及它们的类型(例如分布式训练、微调或强化学习)、状态和持续时间。它还显示每个作业的资源使用情况:EFA、GPU 和 CPU 利用率以及内存。该选项卡会标记网络使用异常的作业。
以下截图展示了 Workload 选项卡:

图 11:Workload 选项卡,显示训练作业以及每个作业的 EFA、GPU、CPU 和内存使用情况
你可以选择一个作业来查看更多详细信息。以下截图展示了作业详情视图:

图 12:作业详情,显示加速器指标
Network 选项卡
Network 选项卡汇总了分布式工作负载的节点间通信网络的健康状况。概览指标包括集群平均 EFA 利用率、性能降级节点数和重传数。按实例类型细分则显示每种实例类型中健康节点和降级节点的占比。
以下截图展示了 Network 选项卡:

图 13:Network 选项卡,显示网络概览以及按实例类型划分的 EFA 健康状况
Amazon Managed Grafana 仪表板
从集群的 Observability 选项卡或 Add-ons 页面,选择 Open dashboard in Grafana 即可访问预置的 Amazon Managed Grafana 仪表板。这些仪表板让你能够全面了解 HyperPod 集群,将来自 CloudWatch 或 Prometheus 的遥测数据按集群、节点、GPU、网络和作业维度进行可视化。
注意:如果首次使用 Grafana,你必须先配置 AWS IAM Identity Center 并添加 Grafana 用户。当你在创建集群时选择 Grafana 指标存储选项,系统会提供相关文档链接。
以下截图展示了一个预置的 Grafana 仪表板:

图 14:预置的 Grafana 仪表板,显示每个节点和 GPU 的 GPU 性能指标
现已推出
Amazon SageMaker HyperPod 中的增强可观测性现已在所有提供 SageMaker HyperPod 的 AWS 区域推出。
- 有关定价信息和支持的集群实例类型列表,请参阅 Amazon SageMaker HyperPod。
- 查看 Developer Guide。
- 访问 AWS Management Console,使用增强可观测性插件开始训练。