Newshot

Amazon SageMaker HyperPod Slurm 推出用于可观测性和用户管理的托管集群扩展

AI summary

维护用于基础模型开发的共享 Slurm 集群需要让多个单独维护的配置部分与节点上实际运行的内容保持同步,而这些部分会随时间逐渐偏离且无任何提示。在2026年期间,Amazon SageMaker HyperPod 为 Slurm 集群带来了 API 驱动的 Slurm 配置、基于 AMI 的配置、持续预置、自动拓扑管理等方式。

Translation(model translation, not the source's own text)

在 Amazon SageMaker HyperPod Slurm 中推出面向可观测性和用户管理的托管集群扩展

维护一个用于基础模型开发的共享 Slurm 集群,意味着让若干分别维护的配置项与节点上实际运行的内容保持一致。集群的形态存在于多个配置文件中,其软件存在于自定义脚本中,其网络拓扑存在于必须随节点变化而编辑的文件中,其用户存在于一份管理员必须维护并重新运行的名册中。随着时间推移,这些内容会逐渐偏离实际运行的状态,而且没有任何机制会告知你这种偏离何时发生。

我们相信,集群配置应当像管理其他 AWS 基础设施一样被管理。你通过 API 或控制台声明你想要的内容,AWS 在应用之前对其进行验证,集群持续保持在该状态,并且你可以看到它是否正常工作。在 2026 年期间,Amazon SageMaker HyperPod 将这一方法带到了 Slurm 集群,包括 API 驱动的 Slurm 配置、基于 AMI 的配置、持续置备、自动拓扑管理和深度健康检查。今天,我们推出了集群扩展,将同样的方法带到了运行中节点上的软件和设置,并提供用于可观测性和用户管理的托管扩展。不过,在这一切之中,你仍然保留对集群中每个节点的完整访问权限,包括控制器节点。你可以 SSH 登录、直接配置节点,并运行你自己的生命周期脚本。API 让你需要维护的东西更少,直接访问让你拥有更多控制权,你可以自行选择平衡点。

在本文中,我们梳理了 2026 年推出的各项功能,并解释了为什么运行中节点上的软件需要一种不同的机制。随后,我们通过 API 和控制台展示集群扩展的工作原理,并跟随一个平台团队走过使用这些扩展的一个季度。

Slurm 集群操作的声明式基础

我们可以把 Slurm 集群的配置视为分为六层。其中五层描述集群本身:其定义、节点设置、容量、网络拓扑和硬件健康。第六层涵盖运行在其节点上的软件,我们将在下一节讨论。下图展示了这六层。

2026 年早些时候,我们为前五层引入了声明式管理。通过 API 驱动的 Slurm 配置,管理员在 CreateCluster 和 UpdateCluster 请求中定义节点角色、分区以及 Amazon FSx for Lustre 和 Amazon FSx for OpenZFS 挂载,并连接外部记账数据库。HyperPod 会更新分区设置,同时保留控制器节点上的其他 Slurm 自定义配置。基于 AMI 的配置用预配置了 Slurm、Docker、Enroot、Pyxis 和主目录的镜像取代例行安装脚本。自定义 AMI 或 OnInitComplete 脚本负责处理组织特定的软件。Slurm 的持续置备会在后台重试容量请求;基于 AMI 的配置与之配合工作,最低容量要求让团队可以指定 MinInstanceCount,集群操作则跟踪扩缩容请求。

自动拓扑管理在节点扩缩容或被替换时维护网络布局。在 Slurm 25.11 或更高版本上,分区级拓扑支持为每个分区配置树形或块状拓扑。在硬件健康方面,按需深度健康检查会对 GPU 施加压力并测试 NVIDIA Collective Communications Library(NCCL)连接性,而与持续置备配合的深度健康检查会在节点置备时运行。处于检查中的节点会一直留在 Slurm 维护预留中,直到检查完成,从而避免在其上运行作业。

推出集群扩展

到目前为止描述的五个层,是 HyperPod 在预置节点时可以一次性推导或应用的配置。第六层是运行在节点上的软件,其行为有所不同,因为它在集群的整个生命周期中会持续变化。随着研究人员加入和离开、某个团队在一周内要求更深入的 GPU 指标,以及某个 exporter 发布修复,这一层始终在变。对于这一层,生命周期脚本一直是主要机制,但当软件持续变化时,它们存在缺点。脚本只在节点被预置时运行,因此每次变更都意味着编辑脚本,然后替换节点或在集群范围内重新运行它。错误只有在脚本于某个节点上运行时才会暴露,而且没有任何东西会报告已安装的内容,因此节点会随着时间推移逐渐出现偏差。

我们希望软件能够在一个地方声明、在提交时进行检查、在节点之间保持一致,并且事后可见。2026 年 11 月,我们推出了集群扩展(cluster extensions),这是由 AWS 管理的软件包,你可以通过 API 或 Amazon SageMaker AI 控制台进行安装、配置、更新和删除,首批软件扩展从可观测性和用户管理(包括目录集成)开始。与脚本相比,扩展具有以下优势:

  • 提前验证:当你通过 API 或控制台提交扩展的设置时,HyperPod 会根据其 schema 检查这些设置,因此拼写错误的设置会在到达任何节点之前被拒绝。
  • 在每个节点上保持一致:HyperPod 会将扩展应用到每个节点,包括通过扩容或替换新增的节点,并在集群扩展和自愈过程中保持节点一致。
  • 通过 API 或控制台变更:你可以通过 API 调用或从 SageMaker AI 控制台更改设置或升级版本,而不必编辑脚本和替换节点。两条路径使用相同的已验证配置,本文在 API 示例旁展示了控制台截图。
  • 可见:每个扩展都会报告其状态和每个节点的健康状况。

当 HyperPod 提供托管软件能力时,请使用集群扩展。对于组织特定的软件或现有扩展未覆盖的初始化,请使用自定义 AMI 和生命周期脚本。HyperPod 目前支持两种集群托管扩展:

  • 可观测性扩展(sagemaker-observability)收集节点、GPU、Elastic Fabric Adapter (EFA)、Slurm 作业和 Slurm 集群指标,并将它们发送到 Amazon CloudWatch 或 Amazon Managed Service for Prometheus。
  • 用户管理扩展(sagemaker-user-management)在每个节点上创建具有相同 ID 的用户和组,控制谁可以在每种节点类型上使用 SSH 和 sudo,并将用户注册到 Slurm 记账中。它还可以将集群连接到 Active Directory,例如 AWS Directory Service for Microsoft Active Directory。

下图展示了扩展如何到达你的节点。

从 HyperPod 记录扩展的期望配置,到节点代理在每个节点(包括新增和替换的节点)上应用扩展包,并通过健康探针回报状态和健康问题
从 HyperPod 记录扩展的期望配置,到节点代理在每个节点(包括新增和替换的节点)上应用扩展包,并通过健康探针回报状态和健康问题

图 2:HyperPod 可以安装、编辑或移除扩展。HyperPod 记录期望配置,节点代理在每个节点(包括新增和替换的节点)上应用扩展包,健康探针回报状态和健康问题

使用集群扩展

在 Amazon SageMaker HyperPod Slurm 中为可观测性和用户管理推出托管集群扩展

你可以从 SageMaker AI 控制台或通过 API 使用集群扩展。在控制台上,集群详情页的 Extensions 标签页会列出每个扩展及其状态、版本和 ARN,同时也是安装新扩展的地方。每个扩展都会添加自己的控件,例如可观测性扩展的指标存储和 Open dashboard in Grafana 按钮,以及用户管理扩展的用户数和组数以及 Manage users 按钮。你还可以通过 API(从 AWS CLI 或 SDK)管理每个扩展,以便用脚本执行安装、将设置纳入版本控制、在多个集群上重复同一套配置,或从自己的工具中检查状态和健康情况。下表列出了六个集群扩展 API,从安装扩展到列出可升级到的版本,以及扩展的控制台视图。

图 3:左侧为六个集群扩展 API 及各自的作用。右侧为用于添加和移除扩展的控制台视图

下图展示了调用其中一个 API 后会发生什么。

Flow showing an extension’s version and settings declared through the API, validated and recorded by HyperPod, applied to every node for its role, with status and health reported back
Flow showing an extension’s version and settings declared through the API, validated and recorded by HyperPod, applied to every node for its role, with status and health reported back

图 4:你通过 API 声明扩展的版本和设置。HyperPod 会验证并记录这些内容,将其应用到每个承担相应角色的节点,并报告状态和健康情况

当你创建或更新扩展时,HyperPod 会在 API 调用期间根据该版本的 schema 验证你的设置,因此拼写错误的设置会被立即拒绝。随后它会将版本和设置记录为期望状态并加以应用,每个节点只安装其角色所需的内容,例如仅在 GPU 节点上安装 GPU exporter。新增节点和替换节点会在启动几分钟后获得相同的状态,每个节点都会报告该扩展是否已应用以及是否健康。

更新只发送你想要更改的设置,HyperPod 会将它们合并到已存储的设置中。仅在某个节点上出现的问题,例如端口或用户 ID 已被其他对象占用,会显示在 DescribeClusterExtension 的 Health 字段中,按原因分组,并附带代码、消息和受影响节点的数量。HyperPod 会自行重试内部故障;对于其他任何问题,你修复原因后调用不带任何更改的 UpdateClusterExtension 来重试受影响的节点。

当变更正在推出时,扩展的状态为 Creating 或 Updating;当每个节点都运行所请求的版本和设置且没有任何节点报告问题时,状态为 Active;当部分节点失败或报告问题时,状态为 Degraded。每个扩展都有自己的 ARN,因此平台团队可以拥有 sagemaker-user-management,而监控团队可以拥有 sagemaker-observability。每个健康问题都会指出组件名称、描述其对集群的影响、给出后续步骤,并统计受影响的节点数,因此你无需登录每个节点就能知道该从哪里查看,如下图所示。

An extension’s status display with an example health issue for a node exporter that isn’t running
An extension’s status display with an example health issue for a node exporter that isn’t running

图 5:扩展的状态,以及一个未运行的 node exporter 的健康问题示例

何时使用集群扩展,何时使用生命周期脚本

文章标题:在 Amazon SageMaker HyperPod Slurm 中引入用于可观测性和用户管理的托管集群扩展

判断的一个实用方法是问:软件归谁所有,以及它变更的频率有多高。集群上有些软件是你们组织特有的,比如安全代理、许可证服务器,以及你的数据管道所期望的存储布局。生命周期脚本和自定义 AMI 是处理这类软件的正确工具,因为只有你的团队才知道它需要什么。其余的是几乎每个集群都需要的软件,比如 GPU 和作业指标,以及具有一致 ID 和访问规则的用户账户。这类软件必须在每个节点上保持一致,并且不断变化,所以集群扩展更合适,因为你只需声明一次,HyperPod 会对其进行校验,并且每个扩展都会报告自己是否健康。

这两种方式可以共存,但每个组件应该只有一个归属方。不要通过生命周期脚本和扩展同时管理同一个 exporter、用户或服务,因为相互冲突的配置可能导致安装或运行时冲突。集群扩展可与所有生命周期配置选项配合使用。

如果你已经通过脚本运行这些能力,你可以一次迁移一项能力到扩展,在迁移过程中脚本和扩展可以并行运行。对于每项能力,迁移需要四个步骤:

  • 调用 UpdateClusterSoftware 将集群迁移到 2026 年 11 月或更晚的 HyperPod AMI。
  • 在生命周期脚本中关闭该能力,并将脚本上传到你的 S3 存储桶,以便新节点跳过它。
  • 在计划维护窗口期间,停止并移除每个节点上由脚本安装的代理。这是唯一需要手动、全集群范围操作的步骤。
  • 调用 CreateClusterExtension 在干净的集群上安装该扩展。

如果有任何遗留内容,安装过程会指出冲突,例如某个端口已被占用,而 DescribeClusterExtension 会在 Health 下显示该冲突。对于用户管理,你保留相同的用户名和用户 ID。下图展示了四个步骤。

将现有集群从生命周期脚本迁移到扩展的四个步骤,一次迁移一项能力
将现有集群从生命周期脚本迁移到扩展的四个步骤,一次迁移一项能力

图 6:将现有集群从生命周期脚本迁移到扩展,一次迁移一项能力

开始使用集群扩展所需的条件

你需要一个运行 2026 年 11 月 2 日或更晚 HyperPod AMI 的 HyperPod Slurm 集群,并启用持续预置。扩展会以 root 身份在每个节点上运行软件,因此请将 CreateClusterExtension、UpdateClusterExtension 和 DeleteClusterExtension 视为管理员权限。我们建议不要将它们授予集群的执行角色,因为任何能登录节点的用户都可以使用该角色的凭证。该角色确实需要访问扩展所使用的目标,这意味着可观测性需要访问 Amazon CloudWatch 或 aps:RemoteWrite,而用户管理需要访问 secretsmanager:GetSecretValue 以获取其读取的 Active Directory 密钥。如果这些密钥使用客户管理的 AWS Key Management Service(AWS KMS)密钥加密,该角色还需要对该密钥具有 kms:Decrypt 权限。用户管理还需要一个共享文件系统(例如 Amazon FSx for Lustre)来存放主目录。

有关操作步骤、IAM 策略和配置参考,请参阅《Amazon SageMaker AI 开发者指南》中的 Cluster extensions for Amazon SageMaker HyperPod Slurm clusters。

平台团队使用集群扩展管理共享 Slurm 集群的历程

要了解集群扩展在实际中的使用方式,可以设想一个为多个研究小组管理共享 Slurm 集群的平台团队。该团队需要一个可审查的集群定义、GPU 和作业指标、企业目录访问、为合作实验室提供的本地账户,以及可观测性和用户管理的独立归属。以下示例展示了该团队如何配置这些能力,以及如何应对日常变更和故障。

从单一集群定义创建集群

文章标题:在 Amazon SageMaker HyperPod Slurm 中为可观测性和用户管理引入托管集群扩展

正文: 管理员在单个 CreateCluster 请求中声明整个集群,包括节点角色、分区、FSx 挂载、最小容量、深度健康检查和外部记账数据库。有关完整的示例请求,请参阅使用 AWS CLI 开始使用 SageMaker HyperPod。

该请求不包含生命周期配置、拓扑文件或 Slurm 配置文件。每个 SlurmConfig 为其实例组指定一个角色,GPU 组加入 train 分区。基于 AMI 的配置会设置节点,而安全团队的合规代理已经包含在自定义 AMI 中。GPU 组请求 8 个节点并要求至少 6 个,因此只要有 6 个节点就绪,作业就可以启动,同时 HyperPod 会配置其余节点,并在每个 GPU 节点到达时对其进行健康检查。HyperPod 会自行 P5 节点选择树形拓扑,而记账会写入团队拥有的 Amazon Relational Database Service(Amazon RDS)数据库。管理员仍然可以通过 SSH 登录控制器节点,直接检查或调整 Slurm。

安装可观测性

领导层希望获取 GPU 和作业指标,因此管理员安装了可观测性扩展。在 SageMaker AI 控制台的集群 Extensions 选项卡上,管理员选择可观测性扩展,选择指标类别及其级别和收集间隔,并从两个指标存储中选择一个:Amazon CloudWatch 或 Amazon Managed Service for Prometheus。下面的截图显示了已选择一个存储的安装表单。另一个选项在同一字段中可用。

可观测性扩展的控制台安装表单,具有可配置的指标级别和指标存储选择
可观测性扩展的控制台安装表单,具有可配置的指标级别和指标存储选择

图 7:从控制台安装可观测性扩展,具有可配置的指标级别和指标存储选择

通过 API 进行同样的安装只需一次 create-cluster-extension 调用。以下示例使用 Amazon CloudWatch 作为指标存储。若要改为将指标发送到 Amazon Managed Service for Prometheus,您可以在同一配置中设置 Prometheus 目标。

管理员通过一次 create-cluster-extension 调用安装该扩展:


        aws sagemaker create-cluster-extension \
    --cluster-arn arn:aws:sagemaker:us-west-2:{{111122223333}}:cluster/{{abcd1234efgh}} \
    --extension-name sagemaker-observability \
    --configuration-values file://observability-config.json
      

该调用返回扩展的 ARN,管理员在后续调用中使用该 ARN:


        {
    "ExtensionArn": "arn:aws:sagemaker:us-west-2:111122223333:extension/sagemaker-abcd1234efgh/sagemaker-observability/0a1b2c3d4e5f"
}
      

无论以哪种方式安装,每个节点都只运行与其角色相关的组件,例如 GPU 节点上的 DCGM 和 EFA 导出器,以及控制器上的 Slurm 集群指标。架构错误会在推出前被拒绝,而节点特定的冲突会显示在扩展健康状态中。

安装完成后,该扩展会显示在集群的 Extensions 选项卡上,并显示其版本、状态和 ARN。截图显示了已安装可观测性扩展和用户管理扩展且两者均为 Active 的集群的该选项卡。

已安装可观测性扩展和用户管理扩展且两者均为 Active 的集群的 Extensions 选项卡
已安装可观测性扩展和用户管理扩展且两者均为 Active 的集群的 Extensions 选项卡

图 8:已安装可观测性扩展和用户管理扩展的集群的 Extensions 选项卡

无论您选择哪种指标存储,都可以将 Amazon Managed Grafana 工作区添加到安装中,这样团队就无需从头构建仪表板。登录 Grafana 后,他们会看到两个预先创建的仪表板:Clusters 和 Jobs,如下图所示。

Amazon Managed Grafana 中预创建的 Clusters 和 Jobs 仪表板
Amazon Managed Grafana 中预创建的 Clusters 和 Jobs 仪表板

图 9:Amazon Managed Grafana 中可观测性扩展自带的 Clusters 和 Jobs 仪表板

Clusters 仪表板基于该扩展收集并发送到你所选指标存储的指标,为你提供 HyperPod Slurm 集群的单一视图。顶部汇总了集群健康状况:实例数量和健康状态、GPU 和 GPU 显存总量、vCPU、内存以及 Amazon FSx for Lustre 容量。它还显示 Slurm 自身的状态,包括节点状态(idle、allocated、mixed、down 和 draining)、作业队列、失败或被抢占的作业以及调度器活动。在此基础上,你可以按集群、节点或 GPU 进行筛选,深入查看 EFA 网络、GPU 性能和错误,以及主机级 CPU、内存、磁盘和网络指标,如下图所示。这样你无需离开仪表板,就能从“我的集群是否健康?”一路追溯到问题的根本原因。

Clusters 仪表板的集群健康摘要,下钻到每节点 GPU、EFA 和主机指标
Clusters 仪表板的集群健康摘要,下钻到每节点 GPU、EFA 和主机指标

图 10:Clusters 仪表板,从集群级健康和 Slurm 状态下钻到每节点 GPU、EFA 和主机指标

Jobs 仪表板则从集群级健康下钻到单个 Slurm 作业。它使用任一指标存储中 Slurm job exporter 的指标,将每个作业的资源使用情况关联回作业本身。你可以按集群、作业 ID、作业名称、分区、用户或账户进行筛选,查看每个作业的 CPU、内存、GPU 利用率、GPU 显存和磁盘 I/O,以及加速器和 NCCL 指标。这样一来,就更容易发现未被充分利用的 GPU、卡住的作业或分布式训练中的通信瓶颈,如下图所示。

Jobs 仪表板显示单个 Slurm 作业的资源使用情况
Jobs 仪表板显示单个 Slurm 作业的资源使用情况

图 11:Jobs 仪表板,显示单个 Slurm 作业的资源使用情况

开启更深入的 GPU 和 NCCL 指标

后来,一个正在调优多节点训练的研究团队要求提供更多细节,于是管理员只发送需要更改的设置:


        aws sagemaker update-cluster-extension \
    --cluster-arn {{cluster-arn}} \
    --extension-arn {{observability-extension-arn}} \
    --configuration-values '{"metricsProvider":{"acceleratedComputeMetrics":{"level":"ADVANCED"},"ncclMetrics":{"level":"ENABLED"}}}'
      

HyperPod 会将这些设置合并到已存储的配置中,并应用到每个节点,只重启设置发生更改的组件。调查结束后,将两者都设为 null 即可恢复默认值,整个过程都不会替换节点或重新运行脚本。

修复指标交付问题

某天早上,该扩展显示为 Degraded。一个新的实例组的执行角色缺少 aps:RemoteWrite 权限,describe-cluster-extension 显示了相应影响:


        {
    "NodeSummary": { "TotalCount": 19, "ActiveCount": 11 },
    "Health": {
        "Issues": [
            {
                "Code": "ExtensionUnhealthy",
                "Message": "otel-exporter-health: no successful exports in 5m6s",
                "NodeCount": 8
            }
        ]
    }
}
      

管理员添加该权限后,节点报告健康,扩展恢复为 Active,无需重新安装任何内容。

为人们授予访问权限

用户管理扩展管理每个节点上的 Linux 用户和组,以及哪些用户可以在每种节点类型上登录并使用 sudo。你声明哪些用户应当存在、他们能做什么,HyperPod 会将其应用到每个节点,包括之后新增或替换的节点,因此无需有人连接到节点或运行脚本来添加或删除用户。用户来自你在配置中列出的本地账户、通过 LDAPS 从 Active Directory 获取的账户,或同时来自两者;每个组会指定其成员可以通过 SSH 登录的节点类型(controller、login 或 compute),以及他们可以在哪些节点类型上获得免密码 sudo。

对平台团队来说,安全团队希望使用企业身份,并将 sudo 保留给管理员,而一个不在目录中的合作实验室需要有自己的账户。管理员在一个配置中声明这两种来源,并通过组规则指明每个组可以登录哪些节点类型以及使用 sudo:


        {
    "sharedFilesystemMount": "/fsx",
    "userSources": {
        "localUsers": {
            "groups": [
                { "name": "cluster-admins", "gid": 3002,
                  "ssh": [ { "nodeTypes": ["controller", "login", "compute"] } ],
                  "sudo": [ { "nodeTypes": ["controller", "login", "compute"] } ] },
                { "name": "partner-lab", "gid": 3101,
                  "ssh": [ { "nodeTypes": ["login", "compute"] } ] }
            ],
            "users": [
                { "username": "admin-1", "uid": 2001, "groups": ["cluster-admins"] },
                { "username": "partner-1", "uid": 2101, "groups": ["partner-lab"] }
            ]
        },
        "ldap": {
            "ldapUri": ["ldaps://{{ad.example.com}}"],
            "ldapSearchBase": "{{dc=example,dc=com}}",
            "ldapDefaultBindDn": "{{CN=ReadOnly,OU=Users,DC=example,DC=com}}",
            "ldapDefaultAuthtokSecretArn": "arn:aws:secretsmanager:us-west-2:{{111122223333}}:secret:{{ad-readonly-AbCdEf}}",
            "ldapTlsCacertSecretArn": "arn:aws:secretsmanager:us-west-2:{{111122223333}}:secret:{{ldaps-ca-GhIjKl}}",
            "domain": "{{example.com}}",
            "useFullyQualifiedNames": "ENABLED",
            "ldapGroups": [
                { "name": "{{[email protected]}}",
                  "ssh": [ { "nodeTypes": ["controller", "login", "compute"] } ],
                  "sudo": [ { "nodeTypes": ["controller", "login", "compute"] } ] },
                { "name": "{{[email protected]}}",
                  "ssh": [ { "nodeTypes": ["login", "compute"] } ] }
            ]
        }
    }
}
      

访问权限是显式声明的,因此在安装该扩展后,只有授予了 SSH 访问权限的组以及默认的 ubuntu 用户才能登录。目录用户保留其在 Active Directory 中的身份和组成员关系,而合作实验室的用户获得相同的 ID、主目录以及默认的 Slurm root 账户。

同一配置也可以从控制台进行管理。在用户管理扩展上选择 Manage users 会打开集群的 Users 选项卡,管理员可以在其中添加、编辑和删除组与用户,并设置每个组可以登录哪些节点类型以及使用 sudo,如下图所示。

图 12:在控制台上管理用户管理扩展的组和用户

升级扩展即可获得新功能,无需更新 AMI

当 AWS 发布扩展的新版本时,管理员列出可安装的版本,并在不更新 AMI 的情况下就地升级:


        aws sagemaker list-cluster-extension-versions \
    --extension-name sagemaker-observability

aws sagemaker update-cluster-extension \
    --cluster-arn {{cluster-arn}} \
    --extension-arn {{observability-extension-arn}} \
    --extension-version {{new-version}}
      

HyperPod 会将存储的设置与新版本的 schema 进行比对:如果这些设置对新版本无效,就拒绝该请求、不做任何改动;否则,新版本会推送到每个节点,之后加入的节点也会获得该版本。升级只能向前,因此管理员会选择一个维护窗口。随后,可以用与之前类似的一次更新来启用该版本带来的任何新设置或新能力。

扩展集群并替换故障节点

在季末运行之前,管理员对 GPU 组启动按需深度健康检查,然后用 batch-add-cluster-nodes 添加节点。请求一旦被 HyperPod 接受就会返回,因此管理员将其作为集群操作来跟踪:


        aws sagemaker list-cluster-operations \
    --cluster-name shared-gpu-cluster \
    --status InProgress
      

随着容量到位,每个节点都会经过健康检查、加入 Slurm、在拓扑中占据自己的位置,并获得两个扩展,其版本和设置与其他所有节点相同。如果在运行期间某个 GPU 发生故障,替换节点会以同样的方式完成配置并获取这些扩展。

审查谁拥有访问权限

季度末,安全团队询问谁在控制器上拥有 sudo 权限,管理员直接从 API 回答,而无需登录到任何节点:


        aws sagemaker describe-cluster-extension \
    --cluster-arn {{cluster-arn}} \
    --extension-arn {{user-management-extension-arn}} \
    --query ExtensionDetails.ConfigurationValues --output text |
jq '[.userSources.localUsers.groups[]?, .userSources.ldap.ldapGroups[]?]
    | map(select(any(.sudo[]?; .nodeTypes | index("controller")))) | map(.name)'
      

答案是 cluster-admins 和 [email protected],并且该目录组成员的身份在目录中进行审计。由于每个扩展都有自己的 ARN,平台团队的角色只能更新 sagemaker-user-management,监控团队的角色只能更新 sagemaker-observability,而安全团队对两者都只有只读访问权限。这些权限都不属于集群的执行角色。当某个扩展处于 Active 状态、ActiveCount 等于 TotalCount 且 Health 为空时,每个节点运行的正是该配置。

可用性与定价

集群扩展(包括可观测性扩展和用户管理扩展)自 2026 年 11 月起已在所有支持 Amazon SageMaker HyperPod 的区域推出,本文中的其他改进已于 2026 年早些时候发布,每次发布都列出了其适用的区域。集群扩展不收取额外费用。您需要为与其配合使用的 AWS 资源付费,例如 Amazon CloudWatch、Amazon Managed Service for Prometheus 和 AWS Secrets Manager。

自 2026 年 11 月起可用的两个扩展概览。可观测性扩展将节点、加速器、网络、集群和 Slurm 作业指标发送到 Amazon CloudWatch 或 Amazon Managed Service for Prometheus,并在 Amazon Managed Grafana 中提供仪表板,且指标级别和间隔可配置。用户管理扩展在每个节点上提供相同的 Linux 用户和组,控制谁可以通过 SSH 登录以及使用 sudo,用户可来自本地列表或 LDAP 目录
自 2026 年 11 月起可用的两个扩展概览。可观测性扩展将节点、加速器、网络、集群和 Slurm 作业指标发送到 Amazon CloudWatch 或 Amazon Managed Service for Prometheus,并在 Amazon Managed Grafana 中提供仪表板,且指标级别和间隔可配置。用户管理扩展在每个节点上提供相同的 Linux 用户和组,控制谁可以通过 SSH 登录以及使用 sudo,用户可来自本地列表或 LDAP 目录

图 13:自 2026 年 11 月起可用的两个扩展

结论

当一个集群的更多部分都能被声明、验证、收敛并可观测时,它运行起来就更容易。今年的改进将这一点带到了 HyperPod Slurm 集群的定义、节点设置、容量、网络拓扑和硬件健康方面,而自 2026 年 11 月起可用的集群扩展则将这一点带到了节点上的软件——也就是变化最频繁的那一层。生命周期脚本和自定义 AMI 仍然专注于您组织特有的内容,控制器节点也仍然归您所有。

要创建本文所述的集群,请参阅使用 AWS CLI 开始使用 SageMaker HyperPod。要开始使用集群扩展,请参阅 Amazon SageMaker AI Developer Guide 中的 Cluster Extensions。欢迎在评论区或通过您的 AWS 客户团队分享反馈。

致谢

此功能由多个团队共同贡献。参与开发的部分人员包括 Hengyu Lou、Aman Pratap Singh、Karthick Ravi、Shubh Nisar、Nitish Sai Kommasai、Uday Singamala、Min Badar、Devanshi Desai、Yahya Hassan、Connie Chen、Kashish Tayal、Oleg Talalov、Takuma Yoshitami、Kiran Penta、Dhawal Parkar、Pradeep Cruz。

关于作者

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by AWS Machine Learning
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗