Newshot

Amazon SageMaker HyperPod 推出增强的基础设施可观测性

AI summary

Amazon SageMaker HyperPod 新增增强可观测性能力,帮助用户更快诊断 GPU 训练问题。该能力为运行在 Amazon EKS 和 Slurm 编排器上的训练工作负载提供诊断与性能分析功能,其中诊断摘要利用 Amazon CloudWatch 的 DetectGroupOutliers API,对比训练任务中每个 GPU 的利用率、内存、温度、功耗和 SM 时钟,并标记出偏离的 GPU。

Translation(model translation, not the source's own text)

在 Amazon SageMaker HyperPod 中推出增强的基础设施可观测性

大规模模型训练是你在 GPU 上能运行的最昂贵的工作负载之一,而单个不健康的加速器就可能让整个分布式作业停滞。当训练吞吐量下降时,难的地方很少是注意到出了问题,而是弄清楚原因和位置。团队常常花费数小时甚至数天翻查日志和彼此割裂的仪表盘,只为判断一次变慢是来自被限流的 GPU、饱和的网络链路,还是主机上停滞的数据流水线。

今天,我们宣布在 Amazon SageMaker HyperPod 中推出增强的可观测性,这是一项新能力,帮助你更快诊断 GPU 训练问题。它把运行在 Amazon Elastic Kubernetes Service(Amazon EKS)和 Slurm 编排器上的训练工作负载的诊断与性能分析能力汇聚在一起:

诊断摘要使用 Amazon CloudWatch 的 DetectGroupOutliers API,在利用率、内存、温度、功耗和 SM 时钟方面比较训练作业中的每个 GPU,并标记出偏离同类的 GPU。静态诊断规则会揭示常见故障模式,例如 GPU 硬件故障(XID 错误、ECC 内存错误)、EFA 吞吐量下降、热降频和过热,让你在性能退化影响训练之前就发现它。

为什么需要它

分布式训练成本高昂,微小的低效会累积成大量被浪费的 GPU 小时。在此之前,要获得对 HyperPod 基础设施的可见性,意味着把彼此独立的工具拼凑起来,而且即便如此,指标也只告诉你性能已经退化,却没有告诉你原因。

增强的可观测性填补了三个缺口。它能在数百或数千个 GPU 中隔离出单个坏加速器,无论是通过 XID 错误、ECC 内存故障还是热降频,让你把时间花在修复上而不是搜寻上。

这些能力共同缩短了故障排查时间,并帮助你让昂贵的加速器保持忙碌。

工作原理

每项能力针对分布式训练作业的不同层次。

默认指标与高级指标

增强的可观测性在两个层面采集遥测数据:

默认指标(自动启用)覆盖集群健康、CPU/磁盘/操作系统级使用情况、GPU 利用率和温度,以及按作业的资源利用率。这些指标每 30 秒采集一次,发送到你选择的指标存储,CPU 开销约为 1–2%,内存占用为 250–300 MB。

高级指标(需主动选择启用)提供更深入的可见性:

  • 完整的 node exporter 套件:全面的主机级指标。
  • 所有 NVIDIA GPU DCGM 和 AWS Neuron 指标:详细的加速器遥测,包括时钟速度、功耗、PCIe 活动和错误指示。
  • Elastic Fabric Adapter(EFA)指标:网络接口吞吐量、丢包、重传和错误。

高级指标是可选的,因为它们会增加发送到指标存储的遥测数据量,从而带来成本影响。在小型集群上运行小型作业的大多数客户可能不需要它们,但对于大型集群上的长时间训练作业来说,它们是必不可少的,因为模式会随时间显现。

指标存储

你可以在两种指标存储之间选择:

  • Amazon CloudWatch(新的默认选项)通过 CloudWatch SageMaker Insights 提供原生监控,让你无需离开 AWS Management Console 就能可视化指标。
  • Amazon Managed Service for Prometheus,适合以 Prometheus 和 Grafana 作为可观测性标准方案的团队。

此前仅支持 Prometheus。CloudWatch 现在是默认选项,相比 Amazon Managed Service Prometheus 提供更低的价格,并与 SageMaker 控制台更紧密地集成。

诊断摘要

诊断摘要使用两种互补的方法来揭示 HyperPod 集群中的问题。

在 Amazon SageMaker HyperPod 中引入增强的基础设施可观测性

GPU 异常检测使用 CloudWatch 的 DetectGroupOutliers API,在训练作业内的 GPU 之间比较利用率、内存使用量、温度、功耗和 SM 时钟频率。当某个 GPU 与同类 GPU 出现显著偏差时,它会在诊断摘要中显示为异常卡片。此功能对 EKS 和 Slurm 作业均适用。

静态诊断规则评估已知故障模式,并按类型组织检测到的问题:

  • 硬件:GPU ECC 内存错误、XID 故障、加速器故障。
  • 网络:EFA 吞吐量下降、丢包、重传。
  • 降频:因温度、板卡或可靠性限制导致的 GPU 时钟降频。
  • 过热:GPU 温度超过配置的限制。

每个检测到的问题都会标识受影响的作业、集群、节点、加速器和 rank。

如何开始

增强可观测性以 EKS 编排集群的附加组件(add-on)形式提供,并以 Slurm 编排集群的扩展(extension)形式提供,这意味着你可以通过 AWS Identity and Access Management (IAM) 控制谁可以安装或更改它。

步骤 1:创建 SageMaker HyperPod 集群

如果你已有集群,可以直接使用。要创建新的 SageMaker HyperPod 集群,你可以按照分步大纲操作。总体而言,步骤如下:

  • 在 Amazon SageMaker AI 控制台的导航窗格中,选择 HyperPod clusters。
  • 选择 Create HyperPod cluster,并选择 Orchestrated on Amazon EKS 或 Orchestrated by Slurm。
  • 在 Setup options 中,选择 Custom setup。
  • 在 Name 中,输入一个名称。
  • 在 Instance recovery 中,选择 Automatic。
  • 选择 Submit。

以下截图显示了 Create HyperPod cluster 页面。

在 Amazon EKS 上选择 Custom setup 的 Create HyperPod cluster 页面
在 Amazon EKS 上选择 Custom setup 的 Create HyperPod cluster 页面

图 1:在 Amazon EKS 上使用 Custom setup 创建 HyperPod 集群

步骤 2:配置 HyperPod 可观测性

在 Custom setup 工作流中,展开 HyperPod observability 部分:

  • Enable HyperPod Observability 默认处于勾选状态。仅当你不需要可观测性时才取消勾选。
  • Observability metrics 显示默认指标(集群健康状况、CPU/磁盘/操作系统、GPU 利用率/温度、每作业资源)以及可选的高级指标。
  • 根据需要选择高级指标:Full node exporter suite、All NVIDIA GPU DCGM/Neuron metrics 和 EFA metrics。
  • Enable logging 用于为容器和 pod 日志创建 CloudWatch 日志组。
  • 在 Metric store 中,选择 Amazon CloudWatch(默认)或 Amazon Managed Service for Prometheus。
  • 在 Grafana workspace 中,选择创建新工作区、使用现有工作区或选择 None。
  • 配置 IAM 角色,或让控制台自动创建它们。

下图显示了自定义设置路径中 HyperPod 可观测性的配置选项:

HyperPod observability 部分,显示默认指标和高级指标、指标存储和 Grafana 工作区选项
HyperPod observability 部分,显示默认指标和高级指标、指标存储和 Grafana 工作区选项

图 2:HyperPod observability 部分,显示默认指标和高级指标、指标存储(CloudWatch 或 Prometheus)以及 Grafana 工作区

注意:在 Quick setup 中,HyperPod 可观测性默认启用且无法取消勾选。Custom setup 让你可以控制启用哪些指标类别和高级指标。

步骤 3:使用 CLI 安装可观测性附加组件(替代方案,EKS)

你可以从 AWS Management Console 或通过 API 安装 HyperPod 可观测性附加组件(EKS)或扩展(Slurm)。或者,你也可以使用 AWS Command Line Interface (AWS CLI) 安装该附加组件。

以下命令会创建该附加组件,启用基本指标类别,并保持可选的 profiling 功能关闭:


        aws eks create-addon \
    --cluster-name <cluster-name> \
    --addon-name amazon-sagemaker-hyperpod-observability \
    --region <region> \
    --configuration-values '{
        "metricsDestination": "cloudwatch",
        "metricsProvider": {
            "nodeMetrics": {"level": "BASIC", "scrapeInterval": 30},
            "acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30}
        },
        "profilesProvider": {
            "hostProfiling": {"enabled": false}
        }
    }'
      

验证该附加组件处于 ACTIVE 状态:


        aws eks describe-addon \
    --cluster-name <cluster-name> \
    --addon-name amazon-sagemaker-hyperpod-observability \
    --region <region> \
    --query 'addon.status'
      

下图展示了集群的 Add-ons 标签页上的可观测性附加组件。

HyperPod EKS 集群的 Add-ons 标签页,显示 Amazon SageMaker HyperPod 可观测性附加组件为 Active,并以 Amazon CloudWatch 作为指标存储
HyperPod EKS 集群的 Add-ons 标签页,显示 Amazon SageMaker HyperPod 可观测性附加组件为 Active,并以 Amazon CloudWatch 作为指标存储

Figure 3: 集群 Add-ons 标签页上的可观测性附加组件,已处于活动状态并向 Amazon CloudWatch 发送指标

Step 4: 启用指标(EKS)

你可以随时启用或禁用任何指标类别或性能分析能力。对于 EKS 集群,使用 AWS Command Line Interface(AWS CLI)更新附加组件配置。以下命令开启高级网络(EFA)指标:


        aws eks update-addon \
    --cluster-name <cluster-name> \
    --addon-name amazon-sagemaker-hyperpod-observability \
    --region <region> \
    --configuration-values '{
        "metricsDestination": "cloudwatch",
        "metricsProvider": {
            "nodeMetrics": {"level": "BASIC", "scrapeInterval": 30},
            "acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30},
            "networkMetrics": {"level": "ADVANCED", "scrapeInterval": 30}
        }
    }'
      

在控制台中,选择 Actions,然后在附加组件卡片上选择 Edit 以进行相同的更改。下图展示了 Actions 按钮。

可观测性附加组件的 Actions 菜单,包含 Edit、Update version、Delete 和 View in EKS 选项
可观测性附加组件的 Actions 菜单,包含 Edit、Update version、Delete 和 View in EKS 选项

Figure 4: 使用 Actions → Edit 启用或禁用指标类别和性能分析

Slurm 集群:安装或编辑可观测性扩展

在由 Slurm 编排的集群上,HyperPod 可观测性是一个集群扩展。在集群详情页中,打开 Extensions 标签页。如果该扩展已安装,选择 Actions,然后选择 Edit。下图展示了 Slurm 集群 Extensions 标签页上的可观测性扩展。

Slurm 集群的 Extensions 标签页,显示 HyperPod 可观测性扩展为 Active
Slurm 集群的 Extensions 标签页,显示 HyperPod 可观测性扩展为 Active

Figure 5: Slurm 集群 Extensions 标签页上的可观测性扩展,带有 Actions → Edit

编辑页面为每个指标类别设置采集级别。

Slurm 集群的 Edit HyperPod observability 页面,显示带有采集级别的指标类别、主机性能分析和指标存储
Slurm 集群的 Edit HyperPod observability 页面,显示带有采集级别的指标类别、主机性能分析和指标存储

Figure 6: 在 Slurm 集群上编辑可观测性:指标类别、主机性能分析和指标存储

改用 AWS CLI 安装该扩展:

文章标题:Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod

正文:


        aws sagemaker create-cluster-extension \
    --cluster-arn <cluster-arn> \
    --extension-name sagemaker-observability \
    --region <region> \
    --configuration-values '{
        "metricsProvider": {
            "clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
            "nodeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30},
            "acceleratedComputeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30},
            "jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}
        },
        "profilesProvider": {"hostProfiling": {"enabled": false}}
    }'
      

要开启 EFA 指标,请更新该扩展:


        aws sagemaker update-cluster-extension \
    --cluster-arn <cluster-arn> \
    --extension-arn <extension-arn> \
    --region <region> \
    --configuration-values '{
        "metricsProvider": {
            "clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
            "nodeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30},
            "acceleratedComputeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30},
            "networkMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
            "jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}
        }
    }'
      

使用 aws sagemaker describe-cluster-extension --cluster-arn <cluster-arn> --extension-arn <extension-arn> 检查状态。

第 5 步:确认指标正在持续传输

集群就绪后,进入集群的详情页面。新增的 Observability 标签页会显示一个概览,其中包含:

  • 节点:节点总数(例如 128)。
  • 加速器:GPU/加速器总数(例如 1024)。
  • 作业:活跃及近期训练作业的数量。
  • 平均 GPU 利用率:全集群平均值(例如 87.3%)。
  • 平均 vCPU 利用率:全集群平均值(例如 76.8%)。
  • 平均内存利用率:全集群平均值(例如 83.5%)。

下图展示了 Cluster Observability 标签页,其中包含概览指标、活跃及近期训练作业,以及活跃问题:

Cluster Observability tab with overview metrics, active and recent training jobs, and active issues
Cluster Observability tab with overview metrics, active and recent training jobs, and active issues

图 7:新增的 Observability 标签页——全集群概览、活跃训练作业及检测到的问题

CloudWatch 看板

在 Observability 标签页中,选择 Open dashboard 即可进入 CloudWatch SageMaker Insights 体验。该看板提供多种视图:

诊断摘要

Diagnostic summary 会显示在您的 HyperPod 集群中检测到的事件。无论是硬件故障、网络问题、限流还是过热,都能定位其根本原因。

选择任意事件卡片即可查看更多详情。每张卡片都会标明受影响的作业、集群、加速器和 rank。

以下截图展示了 Diagnostic summary 标签页:

Diagnostic summary tab listing detected incidents with severity, job, cluster, accelerator, issue type, and a cross-layer summary
Diagnostic summary tab listing detected incidents with severity, job, cluster, accelerator, issue type, and a cross-layer summary

图 8:Diagnostic summary,每张事件卡片都会标明作业、集群、加速器和问题类型,并附有跨层说明

下图展示了一个事件详情:

Incident detail showing overview, detection, resolution, affected job and instance, and network evidence charts against the fleet average
Incident detail showing overview, detection, resolution, affected job and instance, and network evidence charts against the fleet average

图 9:事件详情,展示受影响的作业、集群、实例和加速器,以及与全集群平均值对比的证据图表

硬件标签页

文章标题:Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod

正文: Hardware 选项卡提供加速器集群的设备级视图。集群拓扑图显示每个设备的状态(Active、Idle 和 Unhealthy)。设备表列出加速器类型、所属团队、利用率、温度、EFA 使用情况、状态以及每个设备上运行的工作负载。你可以按状态、加速器或团队进行搜索和筛选,从而快速找到不健康的设备。

以下截图展示了 Hardware 选项卡:

Hardware tab with fleet topology of device states and a device details table
Hardware tab with fleet topology of device states and a device details table

图 10:Hardware 选项卡,显示集群拓扑以及每台设备的加速器、团队、利用率、温度、EFA、状态和工作负载

Workload 选项卡

Workload 选项卡列出活跃和最近的训练作业,以及它们的类型(例如分布式训练、微调或强化学习)、状态和持续时间。它还显示每个作业的资源使用情况:EFA、GPU 和 CPU 利用率以及内存。该选项卡会标记网络使用异常的作业。

以下截图展示了 Workload 选项卡:

Workload tab listing training jobs with type, status, duration, and per-job EFA, GPU, CPU, and memory usage.
Workload tab listing training jobs with type, status, duration, and per-job EFA, GPU, CPU, and memory usage.

图 11:Workload 选项卡,显示训练作业以及每个作业的 EFA、GPU、CPU 和内存使用情况

你可以选择一个作业来查看更多详细信息。以下截图展示了作业详情视图:

Job detail view with core compute, memory and bandwidth, clock and thermal metrics, workload charts, and Profile CPU and Inspect NCCL actions
Job detail view with core compute, memory and bandwidth, clock and thermal metrics, workload charts, and Profile CPU and Inspect NCCL actions

图 12:作业详情,显示加速器指标

Network 选项卡

Network 选项卡汇总了分布式工作负载的节点间通信网络的健康状况。概览指标包括集群平均 EFA 利用率、性能降级节点数和重传数。按实例类型细分则显示每种实例类型中健康节点和降级节点的占比。

以下截图展示了 Network 选项卡:

Network tab with fleet EFA utilization, degraded nodes, retransmits, average NCCL all-reduce latency, and EFA health by instance type.
Network tab with fleet EFA utilization, degraded nodes, retransmits, average NCCL all-reduce latency, and EFA health by instance type.

图 13:Network 选项卡,显示网络概览以及按实例类型划分的 EFA 健康状况

Amazon Managed Grafana 仪表板

从集群的 Observability 选项卡或 Add-ons 页面,选择 Open dashboard in Grafana 即可访问预置的 Amazon Managed Grafana 仪表板。这些仪表板让你能够全面了解 HyperPod 集群,将来自 CloudWatch 或 Prometheus 的遥测数据按集群、节点、GPU、网络和作业维度进行可视化。

注意:如果首次使用 Grafana,你必须先配置 AWS IAM Identity Center 并添加 Grafana 用户。当你在创建集群时选择 Grafana 指标存储选项,系统会提供相关文档链接。

以下截图展示了一个预置的 Grafana 仪表板:

Prebuilt Amazon Managed Grafana dashboard visualizing full-stack HyperPod telemetry.
Prebuilt Amazon Managed Grafana dashboard visualizing full-stack HyperPod telemetry.

图 14:预置的 Grafana 仪表板,显示每个节点和 GPU 的 GPU 性能指标

现已推出

Amazon SageMaker HyperPod 中的增强可观测性现已在所有提供 SageMaker HyperPod 的 AWS 区域推出。

  • 有关定价信息和支持的集群实例类型列表,请参阅 Amazon SageMaker HyperPod。
  • 查看 Developer Guide。
  • 访问 AWS Management Console,使用增强可观测性插件开始训练。

关于作者

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by AWS Machine Learning
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗