跳到正文
AWS Machine Learning Blog· Mijanur Palash·· 3 小时前AI 评分38

Amazon SageMaker HyperPod 新增面向 GPU 训练的增强基础设施可观测性

Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod

AI 导读

Amazon SageMaker HyperPod 现提供增强的可观测性,帮助团队在 Amazon EKS 和 Slurm 上更快诊断 GPU 训练问题。诊断摘要使用 CloudWatch 的 DetectGroupOutliers API 标记在利用率、内存、温度、功耗和 SM 时钟方面出现偏差的 GPU,同时静态规则会暴露 XID 错误、ECC 故障、EFA 吞吐量下降和热节流。默认指标每 30 秒采集一次,CPU 开销约为 1–2%,CloudWatch 现已成为默认指标存储,与 Amazon Managed Service for Prometheus 并存。

来源:AWS Machine Learning Blog · aws.amazon.com