SageMaker HyperPod 新增工作負載復原與基礎設施檢查
先了解這件事
AWS 為 Amazon SageMaker HyperPod 新增工作負載復原功能並擴充基礎設施檢查,旨在更早發現訓練失敗並提升訓練 goodput。新增內容包括 MultiNodeTrainingValidation,這是一項深度健康檢查,會在執行個體上及跨執行個體訓練一個小型模型,以捕捉 NaN 或無限大的損失值;HyperPod Kubernetes Resource Monitoring Agent 會持續監控叢集,並在工作失敗時回報涉及的 pod 與節點;以及針對 Slurm 工作中停滯卻未結束的情況所提供的卡住工作偵測。 各項工具的可用性取決於該工具本身。MultiNodeTrainingValidation 會在執行個體佈建時或隨需執行。卡住工作偵測會以代理程式形式在每個節點上與每個 Slurm 工作一同執行,AWS 表示此功能預設為關閉。AWS 將這些功能定位為更早發現失敗並改善 goodput 的方法;這是該公司陳述的目標,而非實測結果。
AI 依報導生成 · 20 小時前更新
報導時間線
沿著報導,了解事件的不同側面。
- AWS Machine Learning BlogAmazon SageMaker HyperPod 新增工作負載復原與擴充的基礎設施檢查
Amazon SageMaker HyperPod 現提供工作負載復原與擴充的基礎設施檢查,以提升訓練 goodput。新增功能包括 MultiNodeTrainingValidation,這是一項深度健康檢查,會在執行個體上及跨執行個體訓練小型模型,以捕捉 NaN 或無限損失;HyperPod Kubernetes Resource Monitoring Agent,用於處理陷入崩潰迴圈的裝置外掛與缺失的 DaemonSet;以及針對在未退出的情況下停滯的 Slurm 作業進行卡住作業偵測。
本事件熱度走勢
- 可比範圍當前
- 6
- 可比範圍峰值
- 1011月19日 08:00
- 近 24 小時變化
- –
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。