跳至正文
熱點事件持續更新

AWS 為 SageMaker HyperPod 新增增強版 GPU 可觀測性

1 篇報導1 個報導來源3 小時前更新

先了解這件事

AI 綜述

AWS 為 Amazon SageMaker HyperPod 新增增強版可觀測性,旨在協助團隊在 Amazon EKS 與 Slurm 上更快診斷 GPU 訓練問題。診斷摘要使用 CloudWatch 的 DetectGroupOutliers API 標記在使用率、記憶體、溫度、功耗與 SM 時脈上出現偏差的 GPU,而靜態規則則會揭露 XID 錯誤、ECC 故障、EFA 輸送量下降與熱節流。 預設指標每 30 秒收集一次,CPU 額外負擔約 1–2%,且會自動啟用,涵蓋叢集健康狀態、CPU/磁碟/作業系統層級使用率、GPU 使用率與溫度,以及各作業的資源使用率。進階指標為選用項目,因為它們會增加傳送至指標存放區的遙測資料量,而這會產生費用。CloudWatch 現在與 Amazon Managed Service for Prometheus 並列為預設指標存放區。 此功能已在所有提供 SageMaker HyperPod 的 AWS 區域推出。在快速設定中,HyperPod 可觀測性預設為啟用,且無法取消勾選。

AI 依報導生成 · 2 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月20日
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPod 新增強化基礎設施可觀測性,支援 GPU 訓練

    Amazon SageMaker HyperPod 現提供強化可觀測性,協助團隊在 Amazon EKS 與 Slurm 上更快診斷 GPU 訓練問題。診斷摘要使用 CloudWatch 的 DetectGroupOutliers API 標記在使用率、記憶體、溫度、功耗與 SM 時脈上出現偏差的 GPU,靜態規則則會揭露 XID 錯誤、ECC 故障、EFA 輸送量下降與熱節流。預設指標每 30 秒收集一次,CPU 額外負擔約 1–2%,CloudWatch 現在是預設指標存放區,與 Amazon Managed Service for Prometheus 並列。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。