跳至正文
AWS Machine Learning Blog· Mijanur Palash·· 3 小時前AI 評分38

Amazon SageMaker HyperPod 新增強化基礎設施可觀測性,支援 GPU 訓練

Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod

AI 導讀

Amazon SageMaker HyperPod 現提供強化可觀測性,協助團隊在 Amazon EKS 與 Slurm 上更快診斷 GPU 訓練問題。診斷摘要使用 CloudWatch 的 DetectGroupOutliers API 標記在使用率、記憶體、溫度、功耗與 SM 時脈上出現偏差的 GPU,靜態規則則會揭露 XID 錯誤、ECC 故障、EFA 輸送量下降與熱節流。預設指標每 30 秒收集一次,CPU 額外負擔約 1–2%,CloudWatch 現在是預設指標存放區,與 Amazon Managed Service for Prometheus 並列。

來源:AWS Machine Learning Blog · aws.amazon.com