AWS 为 SageMaker HyperPod 增加增强型 GPU 可观测性
先了解这件事
AWS 为 Amazon SageMaker HyperPod 增加了增强型可观测性,旨在帮助团队在 Amazon EKS 和 Slurm 上更快诊断 GPU 训练问题。诊断摘要使用 CloudWatch 的 DetectGroupOutliers API 标记在利用率、内存、温度、功耗和 SM 时钟方面出现偏差的 GPU,而静态规则则会发现 XID 错误、ECC 故障、EFA 吞吐量下降和热节流。 默认指标每 30 秒采集一次,CPU 开销约为 1–2%,并自动启用,涵盖集群健康、CPU/磁盘/操作系统级使用情况、GPU 利用率和温度,以及每作业资源利用率。高级指标是可选的,因为它们会增加发送到指标存储的遥测数据量,从而产生成本。CloudWatch 现在是默认指标存储,与 Amazon Managed Service for Prometheus 并列。 该功能已在所有提供 SageMaker HyperPod 的 AWS 区域推出。在快速设置中,HyperPod 可观测性默认启用,且无法取消勾选。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- AWS Machine Learning BlogAmazon SageMaker HyperPod 新增面向 GPU 训练的增强基础设施可观测性
Amazon SageMaker HyperPod 现提供增强的可观测性,帮助团队在 Amazon EKS 和 Slurm 上更快诊断 GPU 训练问题。诊断摘要使用 CloudWatch 的 DetectGroupOutliers API 标记在利用率、内存、温度、功耗和 SM 时钟方面出现偏差的 GPU,同时静态规则会暴露 XID 错误、ECC 故障、EFA 吞吐量下降和热节流。默认指标每 30 秒采集一次,CPU 开销约为 1–2%,CloudWatch 现已成为默认指标存储,与 Amazon Managed Service for Prometheus 并存。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。