推出 Amazon SageMaker HyperPod 上的工作负载恢复与扩展基础设施检查
大型训练作业即使在每个节点看起来都健康时也可能失败。存在细微故障的 GPU 可以通过压力测试,却仍然返回错误的值。当作业因 NCCL 超时而卡住时,它会一直占用 GPU,而 Slurm 仍将其显示为正在运行。如果某个节点上的设备插件崩溃,作业会失败,并且错误信息从不会提到该插件。团队通常只有在损失发散或作业失败后才会发现这些问题,而到那时算力已经消耗掉了。每一次这类失败都会降低 goodput,也就是集群时间中用于有效训练的比例。今天,我们推出 Amazon SageMaker HyperPod 上的工作负载恢复和基础设施检查,这些功能可以更早捕获这些故障,并提高训练工作负载的 goodput。
SageMaker HyperPod 已经能够处理报告硬件故障的节点。健康监控代理 (HMA) 会监视每个节点的 GPU 错误,深度健康检查会在预置期间测试节点,自动节点恢复会重启或更换故障硬件。这些功能一次只检查一个节点的硬件。它们无法判断 GPU 是否正确训练、作业是否仍在取得进展,或者作业依赖的 Kubernetes 组件是否正常工作。
在本文中,我们将介绍三项能够捕获这些故障的新能力。对于每一项,我们会展示如何设置它,以及它在发现问题时会报告什么:
- MultiNodeTrainingValidation 是一项新的深度健康检查,适用于由 Amazon Elastic Kubernetes Service (Amazon EKS) 编排的 HyperPod 集群。当 HyperPod 预置实例时,或者当你按需运行该检查时,它会在该实例上训练一个小模型,然后在同类型实例之间训练。如果损失变为 NaN 或无穷大,或者训练未及时完成,则该实例失败。
- HyperPod Kubernetes Resource Monitoring Agent 会监视 EKS 集群的 Kubernetes 层,以发现问题,例如崩溃循环的设备插件、缺失的 DaemonSet 以及被污染的节点。当作业失败时,它会将涉及的 Pod 和节点作为 Kubernetes 事件和 Amazon CloudWatch 日志报告出来。
- 挂起作业检测可以发现已停止取得进展的 Slurm 作业。每个节点上的代理会监视作业的输出和 GPU 活动,或者你定义的日志模式。它会将事件写入 CloudWatch,并且可以取消作业,以便 Slurm 重新排队。
为什么仅靠节点健康还不够
现有的 HyperPod 弹性功能一次只检查一个节点。健康监控代理 (HMA) 会监视每个节点的 GPU 错误,例如 Xid 和 NVLink 故障、Elastic Fabric Adapter (EFA) 错误以及内核错误。InstanceStress 深度健康检查会运行 DCGM 级别 4 诊断,并测试每个实例的 GPU、GPU 内存、NVLink 和 EFA 设备。InstanceConnectivity 检查会在 GPU 实例之间运行 NCCL 测试,或在 AWS Trainium 上运行 NCCOM 测试。这些检查共同确认每个节点的硬件正常工作。它们不显示 GPU 是否计算正确、作业是否仍在取得进展,或者集群的 Kubernetes 组件是否健康。有三类故障会绕过它们:
- 数值故障——GPU 可以通过所有硬件测试,却仍然计算出错误结果。第一个迹象通常是生产运行中出现 NaN 或无穷大的损失。Meta 将其 54 天 Llama 3 405B 预训练运行中 419 次意外中断的 6 次归因于静默数据损坏(The Llama 3 Herd of Models)。
- 挂起作业——NCCL 超时、停滞的数据管道或死锁可以停止作业而不会结束它。作业会保留其 GPU 及其内存,Slurm 会将其报告为正在运行,直到有人检查损失曲线或日志。
- 集群级故障——有些故障发生在 Kubernetes 中,而不是节点的硬件中。设备插件崩溃循环,必需的 DaemonSet 从未在新节点上启动,或者不同节点上的 rank 在 NCCL 集合通信中失去同步。HMA 单独检查每个节点,因此看不到这些问题。当作业失败时,错误通常不会说明是哪个 Pod 或节点导致的。
解决方案概述
每项能力覆盖训练运行中的不同环节。MultiNodeTrainingValidation 在实例预置时或按需运行,确认其 GPU 训练正常。挂起作业检测与每个 Slurm 作业并行运行,捕捉已停止取得进展的作业。HyperPod Kubernetes Resource Monitoring Agent 持续监控集群,并在作业失败时报告涉及的 Pod 和节点。下表总结了这三项能力。
| 能力 | 捕捉的问题 | 运行时机 | 可用范围 |
|---|---|---|---|
| MultiNodeTrainingValidation 深度健康检查 | 通过硬件检查的 GPU 上出现 NaN 或无限损失,或训练未及时完成 | 实例创建或更新时,或按需运行 | EKS 集群,在支持的启用 EFA 的 NVIDIA GPU 实例上 |
| HyperPod Kubernetes Resource Monitoring Agent | 节点状况变化、Pod 和 DaemonSet 失败,以及失败的训练作业,并包含涉及的 Pod 和节点。选择加入的作业的 NCCL 通信状态 | 持续运行 | EKS 集群 |
| 挂起作业检测 | 停止取得进展但未退出的作业 | 每个作业运行期间 | Slurm 集群 |
挂起作业检测是 Slurm 集群的新功能。在 EKS 集群上,HyperPod 已能检测通过 HyperPod 训练操作器运行的挂起作业,Ray Train 作业默认获得挂起检测。我们在挂起作业检测部分描述这两种选项。
每项能力针对有效产出损失的不同来源。调度有效产出是作业所需的所有资源可用时间的占比。运行时有效产出是作业取得向前进展的那部分时间的占比。程序有效产出是作业获得的硬件峰值性能的占比。下表展示了每项能力的效果。
| 能力 | 调度有效产出 | 运行时有效产出 | 程序有效产出 |
|---|---|---|---|
| MultiNodeTrainingValidation | 未通过训练测试的实例被标记,并配合自动节点恢复进行替换,因此作业不会在产生无效输出的硬件上启动 | 因故障 GPU 导致的 NaN 或无限损失而损失的生产运行更少 | 标记训练未在时间限制内完成的实例 |
| HyperPod Kubernetes Resource Monitoring Agent | 报告丢失 GPU 或 EFA 设备、缺少设备插件和污点的节点,以便更快恢复容量 | 指出失败作业背后的 Pod 和节点,以便更快找到原因并重启 | 无直接影响 |
| 挂起作业检测 | 无直接影响 | 在几分钟而非几小时内标记挂起作业,并可取消该作业以便 Slurm 重新排队 | 无直接影响 |
考虑一个在 32 个 ml.p5.48xlarge 实例(256 个 NVIDIA H100 GPU)上运行的预训练作业。如果作业在凌晨 1:00 挂起,直到上午 9:00 才被发现,则浪费 256 个实例小时或 2,048 个 GPU 小时。按照美国东部(弗吉尼亚北部)SageMaker HyperPod 按需价格约每小时每实例 66 美元计算,挂起成本约为 16,900 美元。使用 15 分钟的挂起作业检测规则,HyperPod 取消停滞的作业,Slurm 将其重新排队。挂起成本改为约 530 美元,节省约 16,400 美元。
使用 MultiNodeTrainingValidation 深度健康检查验证训练正确性
MultiNodeTrainingValidation 深度健康检查训练一个固定的、已知良好的工作负载,首先在每个实例上运行,然后跨实例运行。它捕捉通过 InstanceStress 和 InstanceConnectivity 但在共同训练时产生 NaN 或无限损失的 GPU。如果实例失败,HyperPod 将其标记为失败,并在开启自动节点恢复的情况下重启或替换它。当检查在预置期间运行时,这会在你的作业能够使用该实例之前发生。
工作原理
MultiNodeTrainingValidation 向深度健康检查运行中添加了两项测试:
- Tiny Megatron 测试:在每个实例的所有 GPU 上运行一个简短的 Megatron-LM 训练。
文章标题:推出 Amazon SageMaker HyperPod 上的工作负载恢复和扩展基础设施检查
正文:
- Megatron 测试:在相同类型的实例之间运行相同的工作负载,通过 EFA 通信。
只要训练损失变成 NaN 或无穷大,或者训练未在时限内完成,任一测试都会判定该实例失败。工作负载是固定的,因此失败指向硬件问题,而不是模型或代码变更。
下表展示了它与其他深度健康检查的关系。
| 检查 | 运行内容 | 捕获的问题 |
|---|---|---|
| InstanceStress | GPU 和 NVLink 数量、DCGM 级别 4 诊断,以及 EFA 延迟和带宽测试(Trainium 上为 Neuron 测试) | 缺失、故障或不稳定的硬件 |
| InstanceConnectivity | 跨 GPU 实例的 NCCL 测试(Trainium 上为 NCCOM) | 实例之间通信缓慢或中断 |
| MultiNodeTrainingValidation | 每个实例上的小型 Megatron 测试、跨实例的 Megatron 测试 | 能运行但训练不正确的 GPU:损失为 NaN 或无穷大,或训练未及时完成 |
先决条件
你需要以下内容:
- 由 Amazon EKS 编排的 Amazon SageMaker HyperPod 集群。
- 一个受支持的、启用了 EFA 的 NVIDIA GPU 实例类型的实例组,例如 ml.p5.48xlarge。Megatron 测试在相同类型的实例之间运行。
为实例组开启 MultiNodeTrainingValidation
HyperPod 在创建或更新实例时会运行深度健康检查。要包含 MultiNodeTrainingValidation,请将其添加到传递给 create-cluster 或 update-cluster 的实例组配置中的 OnStartDeepHealthChecks。我们开启了全部三项检查:
{
"InstanceGroupName": "<instance-group>",
"InstanceType": "ml.p5.48xlarge",
"InstanceCount": 2,
"LifeCycleConfig": {
"SourceS3Uri": "s3://<bucket>/<prefix>",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::<account-id>:role/<hyperpod-execution-role>",
"OnStartDeepHealthChecks": [
"InstanceStress",
"InstanceConnectivity",
"MultiNodeTrainingValidation"
]
}
要确认该设置,请运行以下命令:
aws sagemaker describe-cluster \
--cluster-name <cluster-name> \
--query "InstanceGroups[?InstanceGroupName=='<instance-group>'].OnStartDeepHealthChecks"
输出会列出这三项检查:
[
[
"InstanceStress",
"InstanceConnectivity",
"MultiNodeTrainingValidation"
]
]
按需运行 MultiNodeTrainingValidation
你也可以检查已经在集群中的实例,例如在长时间预训练运行之前。使用 StartClusterHealthCheck API:
aws sagemaker start-cluster-health-check \
--cluster-name <cluster-name> \
--deep-health-check-configurations \
'[{"InstanceGroupName": "<instance-group>", "DeepHealthChecks": ["MultiNodeTrainingValidation"]}]'
要检查特定实例而不是整个组,请在配置中添加 "InstanceIds": [...]。
查看结果
HyperPod 会将每个测试的一行写入集群 CloudWatch 日志组 /aws/sagemaker/Clusters/<cluster-name>/<cluster-id> 中的 DeepHealthCheckResults/<id> 日志流。以下是我们对两个 ml.p5.48xlarge 实例运行时的日志流。TINY_MEGATRON 和 MEGATRON 是两项 MultiNodeTrainingValidation 测试:
在 Amazon SageMaker HyperPod 上推出工作负载恢复和扩展的基础设施检查
2026-11-11T10:58:33Z Deep health check configuration validation passed
2026-11-11T11:01:41Z 2 out of 2 nodes succeeded HARDWARE_CHECK test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:16:07Z 2 out of 2 nodes succeeded DCGM test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:17:14Z 2 out of 2 nodes succeeded EFA test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:21:16Z 2 out of 2 nodes succeeded TINY_MEGATRON test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:22:25Z 0 nodes failed NCCL test at batch size 2. Instance IDs: []
2026-11-11T12:22:29Z 2 out of 2 nodes succeeded NCCL test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:26:31Z 0 nodes failed MEGATRON test at batch size 2. Instance IDs: []
2026-11-11T12:26:31Z 2 out of 2 nodes succeeded MEGATRON test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
运行结束后,每个实例都会将结果作为节点标签携带:
kubectl get nodes \
-l sagemaker.amazonaws.com/instance-group-name=<instance-group> \
-L sagemaker.amazonaws.com/deep-health-check-status
NAME STATUS ROLES AGE VERSION DEEP-HEALTH-CHECK-STATUS
hyperpod-i-0a1b2c3d4e5f60001 Ready <none> 120m v1.34.2-eks-ecaa3a6 Passed
hyperpod-i-0a1b2c3d4e5f60002 Ready <none> 120m v1.34.2-eks-ecaa3a6 Passed
有关训练详细信息,请读取实例上的 /var/log/aws/clusters/sagemaker-deep-health-check.log,例如通过 AWS Systems Manager 会话。在运行 rank 0 的实例上,日志以 Megatron 测试的摘要结尾:
CONVERGENCE TEST PASSED
Completed 300 training iterations in 161.5s
Training forward steps: 300
Evaluation forward steps: 20
Total forward steps: 320
Final training loss: 3.6213
Initial training loss: 11.5671
Loss reduction: 7.9458
Training iterations per second: 1.86
另一个实例的日志每次迭代都有一行,包含损失和 NaN 迭代的累计计数:
iteration 300/ 300 | consumed samples: 9600 | elapsed time per iteration (ms): 509.5 |
learning rate: 1.000E-04 | global batch size: 32 | lm loss: 3.397480E+00 | loss scale: 1.0 |
grad norm: 1.386 | number of skipped iterations: 0 | number of nan iterations: 0 |
在我们的运行中,损失在 300 次迭代中从 11.57 降至 3.62,没有 NaN 或跳过的迭代,在 16 块 H100 GPU 上每次迭代约 507 毫秒。
MultiNodeTrainingValidation 需要多长时间
在我们的双节点集群上,实例完成生命周期脚本后,完整的深度健康检查耗时 1 小时 28 分钟。DCGM 级别 4 诊断占了其中大部分时间。两个 MultiNodeTrainingValidation 测试增加了约 8 分钟。检查完成前实例无法承接工作负载,因此在增加容量时要为这段额外时间做好规划。
| 测试 | 检查 | 距上一结果的时间 |
|---|---|---|
| HARDWARE_CHECK | InstanceStress | 3 min |
| DCGM (level 4) | InstanceStress | 74 min |
| EFA | InstanceStress | 1 min |
| TINY_MEGATRON | MultiNodeTrainingValidation | 4 min |
| NCCL | InstanceConnectivity | 1 min |
| MEGATRON (2 instances) | MultiNodeTrainingValidation | 4 min |
请记住,MultiNodeTrainingValidation 使用固定的参考工作负载测试硬件。通过意味着实例正确训练了该工作负载。它并不保证你自己的作业会收敛。我们建议在新容量、替换实例上以及长时间预训练运行之前运行它。
使用 HyperPod Kubernetes Resource Monitoring Agent 捕获集群级故障
HMA 监视每个节点上的硬件,但许多导致训练作业停止的故障发生在 Kubernetes 中。设备插件可能反复崩溃重启,直到其节点不再向调度器提供 GPU,或者一个污点可能驱逐作业的 Pod。作业错误很少指出涉及的 Pod 或节点,因此工程师需要从 kubectl 输出、各 rank 日志和时间戳中拼凑出发生了什么。
文章标题:Introducing workload recovery and expanded infrastructure checks on Amazon SageMaker HyperPod
正文: HyperPod Kubernetes Resource Monitoring Agent 从集群中的一个位置监控这些资源。当出现问题时,它会告诉你发生了什么变化,以及哪些节点、Pod 和作业受到影响。它通过 Kubernetes 事件和结构化 CloudWatch 日志进行报告。该代理只负责报告。它不会重启节点或重启作业,因为原因可能出在工作负载中。HMA 和 HyperPod 节点恢复仍然负责处理硬件故障,HyperPod 训练算子仍然负责处理作业重启。
代理如何工作
该代理在 aws-hyperpod 命名空间中作为每个集群的单个 Pod 运行,并且优先使用 CPU 节点,因此不会占用 GPU 容量。它监控以下内容:
- 节点:代理报告这些变化:条件变化,例如 NotReady 或内存、磁盘或 PID 压力。可分配的 GPU 或 EFA 设备减少。丢失 NVIDIA 能力标签。污点被添加、更改或移除。缺少 HyperPod 标签。
- 条件变化,例如 NotReady 或内存、磁盘或 PID 压力。
- 可分配的 GPU 或 EFA 设备减少。
- 丢失 NVIDIA 能力标签。
- 污点被添加、更改或移除。
- 缺少 HyperPod 标签。
- 关键基础设施 Pod:kube-system、aws-hyperpod 和 kubeflow 中的 DaemonSet Pod,以及训练算子的控制器。代理报告崩溃循环、重启、容器错误以及持续未就绪的 Pod。
- DaemonSet:缺失或没有可用 Pod 的必需 DaemonSet、停滞的滚动发布,以及运行在不再允许它们的节点上的 Pod。
- 训练作业:HyperPodPyTorchJob、Kubeflow PyTorchJob (v1) 和 Kubeflow TrainJob (v2)。当作业失败时,代理会记录失败原因以及该作业的 Pod 和节点。
- NCCL 通信:对于选择加入的作业,读取作业的 NCCL 通信器状态,数据来自 NCCL 内置的可靠性、可用性和可服务性 (RAS) 子系统。
代理会在两个位置报告其发现:
- 受影响节点、Pod、DaemonSet 或作业上的 Kubernetes 事件。Warning 事件标记问题,Normal 事件标记其恢复。你可以使用 kubectl get events 和 kubectl describe 读取它们。
- 集群 CloudWatch 日志组中的结构化 JSON 日志,它们在 Kubernetes 事件过期后保留历史记录。
下表列出了你最可能看到的事件。
| 事件原因 | 触发条件 |
|---|---|
| TrainingJobFailed | HyperPodPyTorchJob 或 Kubeflow 作业失败。消息包含来自作业算子的失败原因。 |
| CriticalPodCrashLoop、CriticalPodRestarted | 设备插件、HMA 或其他关键 Pod 崩溃循环或重启。 |
| NecessaryDaemonSetMissing | 你声明为必需的 DaemonSet 缺失或没有可用 Pod。 |
| NodeResourceDegraded | 节点的可分配 GPU 或 EFA 设备减少或消失。 |
| NodeConditionDegraded | 节点变为 NotReady 或报告内存、磁盘或 PID 压力。 |
| NodeTaintAdded、NoExecuteTaintApplied | 节点被添加污点。对于 NoExecute 污点,日志会列出可能被驱逐的 Pod 和作业。 |
| DaemonSetMisscheduled | DaemonSet Pod 运行在不再允许它们的节点上。 |
| NodeRecovered、PodRecovered、DaemonSetRecovered | 先前报告的问题已清除。 |
有关事件的完整列表,请参阅文档。
先决条件
你需要以下内容:
- 由 Amazon EKS 编排的 SageMaker HyperPod 集群。
- 对于现有集群,需要 kubectl 和 Helm 访问集群的权限,以及来自 sagemaker-hyperpod-cli 仓库的 HyperPod Helm chart。
- 如果你希望监控 NCCL 通信,训练容器中需要 NCCL 2.24 或更高版本。
安装并验证代理
如果你的集群已经使用 HyperPod Helm chart,请先应用代理的自定义资源定义 (CRD),因为 Helm 在升级期间不会安装 CRD。然后启用代理并升级发布:
git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart
helm dependencies update HyperPodHelmChart
文章标题:推出 Amazon SageMaker HyperPod 上的工作负载恢复和扩展基础设施检查
正文:
kubectl apply \
-f HyperPodHelmChart/charts/hyperpod-kubernetes-resource-monitor/crds/
helm upgrade dependencies HyperPodHelmChart \
--namespace kube-system \
--reset-then-reuse-values \
--set hyperpod-kubernetes-resource-monitor.enabled=true \
--set hyperpod-kubernetes-resource-monitor.region=<region>
升级还会将图表中的其他 HyperPod 组件(例如 HMA 和设备插件)迁移到图表的当前版本。要首先查看将会发生哪些变化,请使用 --dry-run=server 运行相同的命令。
检查代理是否正在运行,以及其健康报告是否存在:
kubectl get deployment \
-n aws-hyperpod \
hyperpod-kubernetes-resource-monitoring-agent
kubectl get hyperpodkrmaconfigs default -o yaml
健康报告列出了代理跟踪的 HyperPod 组件(例如 HMA),以及它们状态最后一次更改的时间:
status:
components:
- name: DaemonSet/aws-hyperpod/health-monitoring-agent
since: "2026-11-10T16:47:57Z"
status: Healthy
instances: []
lastReportTime: "2026-11-10T17:19:36Z"
默认情况下,HMA 是唯一必需的 DaemonSet。如果你的集群使用 HyperPod Helm chart 中的设备插件,请添加它们,以便代理报告缺失的插件。还要添加你的训练作业运行的命名空间,以便它可以将 Pod 故障关联到其作业。每个列表都会替换其默认值,因此请保留默认条目。将以下内容保存为 krma-values.yaml:
hyperpod-kubernetes-resource-monitor:
monitoring:
monitoredNamespaces:
- aws-hyperpod
- kube-system
- default
- kubeflow
- ml-team-a
necessaryDaemonsets:
- name: health-monitoring-agent
namespace: aws-hyperpod
- name: dependencies-nvidia-device-plugin
namespace: kube-system
- name: dependencies-aws-efa-k8s-device-plugin
namespace: kube-system
然后应用它:
helm upgrade dependencies HyperPodHelmChart \
--namespace kube-system \
--reset-then-reuse-values \
-f krma-values.yaml
查看代理报告的内容
为了查看 HyperPod Kubernetes Resource Monitoring Agent 如何处理基础设施故障,我们向 aws-hyperpod 部署了一个小型 DaemonSet,将其固定到一个节点,并让它在启动几秒后退出。它的行为类似于崩溃循环的设备插件,而不会触碰真实的插件。几秒钟内,代理就在 Pod 和 DaemonSet 上触发了事件:
kubectl get events -A \
--field-selector source=hyperpod-kubernetes-resource-monitoring-agent
NAMESPACE TYPE REASON OBJECT MESSAGE
aws-hyperpod Warning CriticalPodRestarted pod/demo-plugin-4wsqw Critical infrastructure pod container crash restarted (count: 2)
aws-hyperpod Warning CriticalPodCrashLoop pod/demo-plugin-4wsqw Critical infrastructure pod container crash in CrashLoopBackOff
aws-hyperpod Warning DaemonSetMisscheduled daemonset/demo-plugin DaemonSet has 1 misscheduled pods
接下来,我们运行了一个双节点 HyperPodPyTorchJob,并让一个 rank 在训练期间退出。代理在该作业上触发了 TrainingJobFailed 事件:
NAMESPACE TYPE REASON OBJECT MESSAGE
ml-team-a Warning TrainingJobFailed hyperpodpytorchjob/llama-pretrain Training job HyperPod PyTorchJob failed:
Fault detected on training pod llama-pretrain-pod-7dc7c-nh5gb:
A training worker process has crashed: Local Rank 0 exited ...
它还将故障及涉及的 Pod 和节点写入 CloudWatch,因此你无需从作业的 Pod 列表中查找它们:
{"level":"warn","msg":"=== Job Failure Detected ===","component":"HyperpodPyTorchJob",
"job":"llama-pretrain","namespace":"ml-team-a","type":"HyperPod PyTorchJob",
"reason":"Fault detected on training pod llama-pretrain-pod-7dc7c-nh5gb: A training worker process has crashed ..."}
{"level":"warn","msg":"Affected Pods","component":"HyperpodPyTorchJob",
"pods":["llama-pretrain-pod-7dc7c-nh5gb","llama-pretrain-pod-7dc7c-f9dmg"]}
{"level":"warn","msg":"Affected Nodes","component":"HyperpodPyTorchJob",
"nodes":["hyperpod-i-0a1b2c3d4e5f60001","hyperpod-i-0a1b2c3d4e5f60002"]}
agent 会将这些日志写入集群日志组 /aws/sagemaker/Clusters/<cluster-name>/<cluster-id>,日志流名称为 SageMakerClusterMonitoringAgent/<instance-group>/<instance-id>。当它迁移到另一个节点时会启动新的日志流,因此请按日志流前缀进行筛选。示例查询请参阅文档。
监控任务的 NCCL 通信
NCCL 2.24 及更高版本包含可靠性、可用性和可维护性(RAS)子系统,这是每个 NCCL 进程中的一个小型监听器,用于报告任务通信器的状态。对于选择启用的任务,agent 每 30 秒从每个 pod 读取一次该报告。
默认情况下,NCCL 将 RAS 监听器绑定到 pod 内部的 localhost,agent 无法访问。要让任务选择启用,需将监听器绑定到 pod IP。这样端口 28028 在 pod 网络上可达,NVIDIA 的文档指出这会带来安全隐患。在启用之前,请应用一个 Kubernetes NetworkPolicy,仅允许来自 agent pod 的 TCP 端口 28028,同时仍允许任务自身 pod 之间的流量。agent 的文档中包含一个示例策略。然后在训练容器中设置 NCCL_RAS_ADDR:
apiVersion: sagemaker.amazonaws.com/v1
kind: HyperPodPyTorchJob
...
containers:
- name: pytorch
env:
- name: POD_IP
valueFrom:
fieldRef: {fieldPath: status.podIP}
- name: NCCL_RAS_ADDR # set only after the NetworkPolicy is in place
value: "$(POD_IP):28028"
要确认该设置,请通过 NCCL_DEBUG=INFO 和 NCCL_DEBUG_SUBSYS=INIT,RAS 开启 NCCL 调试日志。随后每个 rank 都会记录 RAS 监听的地址:
[default3]:llama-pretrain-workers-6c7f5bb445-gxnsf:129:203 [3] NCCL INFO RAS client listening socket at 10.0.1.11<28028>
如果地址是 ::1 或 127.0.0.1,则说明 NCCL_RAS_ADDR 未设置,agent 无法访问该监听器。
对于每个受监控的任务,agent 会将每个 pod 的结果合并为任务级状态。当所有 pod 都返回有效报告时,任务为健康;仅部分 pod 返回时为降级;没有 pod 返回时为不健康。不健康通常意味着训练进程已停止。
agent 会在每个轮询周期后记录一条摘要。在两次 ml.p5.48xlarge 实例的运行中,每个周期都报告两个训练 pod 健康,间隔 30 秒:
{"level":"info","timestamp":"2026-11-12T07:14:27.163Z","msg":"NCCL RAS monitoring cycle completed","component":"nccl-ras-informer-llama-pretrain","duration":4.00535305,"total_endpoints":2,"healthy":2,"failed":0,"overall_status":"healthy"}
agent 还会将每份 RAS 报告写入 CloudWatch,以便在任务仍在运行时发现通信器问题。在我们的测试中,我们让一个两节点任务中的一个 rank 停止调用 all_reduce。下一个轮询周期的报告显示通信器不同步,并指出了落后的 rank、GPU、进程和节点:
Group Comms Nodes Ranks Ranks Ranks Status Errors
# in group per comm per node per comm in group
0 1 2 1 2 2 RUNNING MISMATCH
#0-0 (2958ae23ccc57a88) MISMATCH
Communicator ranks have different AllReduce operation counts
Rank 0 has launched up to operation 3078 -- GPU 0 managed by process 473 on node 10.0.1.11
Rank 1 has launched up to operation 3077 -- GPU 0 managed by process 474 on node 10.0.2.22
Rank 1 比 rank 0 落后一个操作,因此请从节点 10.0.2.22 上 rank 1 的 GPU 开始排查。
在 HyperPod Slurm 集群上检测并恢复挂起的作业
训练作业可能挂起而不退出。NCCL 超时、停滞的数据管道或死锁可能让作业一直占用 GPU,而 Slurm 仍显示其正在运行。它会一直保持这种状态,直到有人注意到损失或日志停止变化。运行 Slurm 的团队通常会构建自己的看门狗脚本和告警来捕获这些作业,然后还需要维护它们。
今天,我们为 SageMaker HyperPod Slurm 集群推出挂起作业检测。它会发现这些作业,向 CloudWatch 写入事件,并且可以取消挂起的作业,以便 Slurm 将其放回队列。你通过一个环境变量为每个作业开启该功能,该变量指向一个小型规则文件。它不需要更改你的训练脚本或容器,并且适用于 PyTorch、TensorFlow、JAX 和自定义脚本。
挂起作业检测如何工作
挂起作业检测在每个节点上作为代理运行,默认关闭。该代理只监视将 HYPERPOD_HANG_RULES 环境变量设置为规则文件路径的作业。规则文件决定代理如何检测挂起:
- 默认检测监视作业的标准输出和 GPU 活动。当输出在较长时间内停止,而 GPU 空闲但仍占用内存时,它声明挂起。这就是 rendezvous 挂起的样子:一个节点故障,其他节点在屏障处等待。当输出在更长时间内停止时,无论 GPU 在做什么,它也会声明挂起。在我们的测试中,第一种情况在作业最后一次输出后 15 分钟触发。
- 自定义规则监视你的日志中你选择的正则表达式。进度规则在诸如你的训练步消息之类的行未在其超时内出现时声明挂起。错误规则在诸如 NCCL 错误之类的行一出现时就声明挂起。自定义规则会替换该作业的默认检测。
| 默认检测 | 自定义规则 | |
|---|---|---|
| 开启方式 | {“enabled”: true} | 一个或多个启用的 log_pattern 规则 |
| 声明挂起当 | 输出停止且 GPU 空闲但占用内存,或输出停止较长时间 | 进度模式未在超时内出现,或错误模式出现 |
| 遗漏 | 保持 GPU 繁忙但无进展的作业,例如卡在循环中的作业 | 你的模式未描述的挂起。如果模式持续匹配,即使 GPU 空闲也不会声明挂起 |
当代理声明挂起时,它会向 CloudWatch 写入一个 HANG_DETECTED 事件。如果规则文件将 action 设为 cancel,代理还会取消作业,Slurm 会将其重新排队。使用默认 action(notify)时,代理写入事件并让作业继续运行。
挂起作业检测与自动恢复是分开的,自动恢复会重启在硬件故障后退出的作业。自动恢复处理崩溃的作业,挂起作业检测处理持续运行但没有进展的作业。
在由 Amazon EKS 编排的 HyperPod 集群上,HyperPod 已经在两种情况下检测挂起作业。HyperPod 训练操作器根据作业规范中的规则检查每个 HyperPodPyTorchJob 的日志,并在其挂起时重启作业。相同的规则还可以重启吞吐量下降或损失飙升的作业。你不需要 Ray 来实现这一点。对于 Ray Train 作业,HyperPod 的 Ray 挂起作业检测默认监视每个 worker,无需更改你的代码。
先决条件
你需要以下内容:
- 由 Slurm 编排的 SageMaker HyperPod 集群。
- 发布于 2026 年 11 月 10 日或之后的 HyperPod Slurm AMI,其中包含挂起作业检测。在该日期或之后创建的集群已经具备该功能。要检查现有集群而不更新它,请在集群节点上运行 srun --help。如果输出列出 --no-hang-detection,则该集群支持挂起作业检测。如果没有,请先更新集群软件。更新会替换每个实例的根卷,因此在更新前请备份存储在那里的任何内容。
Amazon SageMaker HyperPod 推出工作负载恢复和扩展的基础设施检查
- 规则文件,作业中的每个计算节点都能在同一路径读取它。代理程序会在每个节点上从该路径读取文件。Amazon FSx for Lustre 或 Amazon Elastic File System(Amazon EFS)等共享存储是简单直接的选择。要将规则文件保存在 Amazon Simple Storage Service(Amazon S3)中,请将它们复制到每个节点上的同一路径,例如在生命周期脚本中。如果你计划使用
/opt/slurm这样的目录,请先确认它在各节点之间是共享的,而不是每个节点本地独有的。
开启卡住作业检测
在共享存储上创建规则文件。最小的有效文件会开启默认检测:
echo '{"enabled": true}' > /fsx/my-project/rules.json
chmod 600 /fsx/my-project/rules.json
代理程序会使用作业指向的任何规则文件,并且不检查其所有者是谁。任何能够编辑该文件或在目录中替换该文件的人,都可以改变使用该文件的每个作业的检测行为,包括让代理程序取消这些作业。示例中的 chmod 600 可让个人规则文件仅对其所有者私有。对于团队共享的文件,请使用 chmod 644,以便团队可以读取它,并且只有其维护者可以编辑它。在这两种情况下,都应让父目录仅对其所有者可写,这样任何人都无法替换该文件。
然后在提交作业时让作业指向该规则文件:
#!/bin/bash
#SBATCH --job-name=llama-pretrain
#SBATCH --nodes=4
#SBATCH --export=ALL,HYPERPOD_HANG_RULES=/fsx/my-project/rules.json
srun python train.py
要为多个作业使用同一个规则文件,你也可以在 shell 配置文件或站点级配置文件脚本中设置 HYPERPOD_HANG_RULES。
当受监控的作业启动时,其输出的开头几行会显示代理程序已注册该作业:
[Auto Resume] Info: [hang_detection] Exported stdout path for job 1: /fsx/my-project/llama-pretrain-1.out
[Auto Resume] Info: [hang_detection] Registered job step: job=1 step=0 node=ip-10-1-40-47
当规则文件无效时,也会出现这些行,因此还请按下一节所述,在 CloudWatch 中检查 CONFIG_ERROR 事件。
添加自定义规则以跟踪训练进度
默认检测无法捕获 GPU 一直忙碌但没有进展的作业,因此我们建议至少设置一条规则来监视训练步数或 epoch。以下规则文件会在 45 分钟内没有完成任何 epoch 时取消作业,或者在出现 NCCL 错误时立即取消作业:
{
"enabled": true,
"rules": [
{
"name": "epoch_progress",
"type": "log_pattern",
"enabled": true,
"log_pattern": "Epoch \\d+/\\d+ complete",
"start_timeout_minutes": 30,
"timeout_minutes": 45,
"stop_pattern": "Training complete"
},
{
"name": "nccl_error",
"type": "log_pattern",
"enabled": true,
"log_pattern": "NCCL error",
"fault_on_match": true
}
],
"action_policy": {
"action": "cancel"
}
}
各字段的作用如下:
- 将每条规则的 enabled 设置为 true。规则默认关闭。
- start_timeout_minutes 是作业在模式首次出现之前可以运行多长时间。请将其设置为长于作业加载模型、编译和恢复检查点所需的时间。
- timeout_minutes 是在此之后模式可以持续不出现的时间。请将其设置为长于最大的正常间隔,包括检查点保存和评估。
- stop_pattern 在匹配时会关闭规则,因此训练结束后的工作不会被标记。
- fault_on_match 标记错误模式。一次匹配就意味着作业卡住。
默认情况下,代理程序读取作业的 Slurm 输出文件。要监视其他文件,请设置 monitoring.log_file。为减少误报,请在规则上设置 metric_evaluation_data_points,以便在代理程序宣布作业卡住之前,必须连续多次 10 秒检查失败。一个规则文件最多可包含 20 条规则,且大小不超过 1 MB。
开始调整超时和模式时,先从 "action": "notify" 开始;一旦这些事件与真实挂起匹配,再切换为 cancel。
在 CloudWatch 中查看挂起作业检测事件
HyperPod 会将来自控制器节点的检测事件写入集群的 CloudWatch 日志组 /aws/sagemaker/Clusters/<cluster-name>/<cluster-id> 中名为 SageMakerHangJobDetectionEvents/<controller-instance-group>/<controller-instance-id> 的日志流。无论作业运行在哪个节点上,每个作业的事件都会进入这个流。要查找某个作业的事件,请按作业 ID 筛选:
aws logs filter-log-events \
--log-group-name /aws/sagemaker/Clusters/<cluster-name>/<cluster-id> \
--log-stream-name-prefix SageMakerHangJobDetectionEvents/ \
--filter-pattern '{ $.job_id = "12345" }'
我们在一个带有两个 ml.p5.48xlarge 实例的 HyperPod Slurm 集群上测试了每种检测方法。第一个测试作业分配了 GPU 内存,然后停止产生输出。默认检测在其最后一次输出 15 分钟后将其标记:
{
"time": "2026-11-12T16:49:36
在 notify 模式下,作业会持续运行,直到有人针对该事件采取操作。要获得告警,请为 HANG_DETECTED 事件创建 CloudWatch 指标筛选器,并创建一个向 Amazon Simple Notification Service (Amazon SNS) 主题发送通知的告警:
aws logs put-metric-filter \ --log-group-name /aws/sagemaker/Clusters/<cluster-name>/<cluster-id> \ --filter-name hung-jobs \ --filter-pattern '{ $.event_type = "HANG_DETECTED" }' \ --metric-transformations \ metricName=HungJobsDetected,metricNamespace=HyperPod/HungJobs,metricValue=1
## 关闭挂起作业检测
若要为原本会继承 HYPERPOD_HANG_RULES 的作业关闭检测,请向 srun 添加 --no-hang-detection,或添加到 sbatch 以覆盖该作业中的每个步骤。要为使用规则文件的每个作业关闭检测,请在文件中设置 "enabled": false。正在运行的作业会保留当前设置,该更改将应用于之后提交的作业。
srun --no-hang-detection python train.py
结论
节点健康对于可靠的分布式训练至关重要,但它并不能提供工作负载健康的完整视图。MultiNodeTrainingValidation 可检测通过硬件诊断但产生无效训练结果的实例。HyperPod Kubernetes Resource Monitoring Agent 可将 Kubernetes 基础设施故障与相关的作业、Pod 和节点关联起来。挂起作业检测可识别在停止取得进展后仍保持活动状态的 Slurm 作业,并能自动将其重新放回队列。
这些能力结合起来,可帮助你更早发现故障、缩短调查时间,并通过减少浪费在无法取得有效进展的工作负载上的 GPU 时间来提高 goodput。在添加或重新验证容量时使用 MultiNodeTrainingValidation,在受支持的 Amazon EKS 集群上持续运行 HyperPod Kubernetes Resource Monitoring Agent,并先在 notify 模式下启用挂起作业检测,然后再切换到自动取消。要开始使用,请参阅针对 Amazon EKS 的 SageMaker HyperPod 弹性文档和针对 Slurm 的挂起作业检测文档。要了解更多信息,请访问 Amazon SageMaker HyperPod 产品页面。