跳至正文
熱點事件持續更新

SageMaker HyperPod 新增工作負載復原與基礎設施檢查

1 篇報導1 個報導來源20 小時前更新

先了解這件事

AI 綜述

AWS 為 Amazon SageMaker HyperPod 新增工作負載復原功能並擴充基礎設施檢查,旨在更早發現訓練失敗並提升訓練 goodput。新增內容包括 MultiNodeTrainingValidation,這是一項深度健康檢查,會在執行個體上及跨執行個體訓練一個小型模型,以捕捉 NaN 或無限大的損失值;HyperPod Kubernetes Resource Monitoring Agent 會持續監控叢集,並在工作失敗時回報涉及的 pod 與節點;以及針對 Slurm 工作中停滯卻未結束的情況所提供的卡住工作偵測。 各項工具的可用性取決於該工具本身。MultiNodeTrainingValidation 會在執行個體佈建時或隨需執行。卡住工作偵測會以代理程式形式在每個節點上與每個 Slurm 工作一同執行,AWS 表示此功能預設為關閉。AWS 將這些功能定位為更早發現失敗並改善 goodput 的方法;這是該公司陳述的目標,而非實測結果。

AI 依報導生成 · 20 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月19日
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPod 新增工作負載復原與擴充的基礎設施檢查

    Amazon SageMaker HyperPod 現提供工作負載復原與擴充的基礎設施檢查,以提升訓練 goodput。新增功能包括 MultiNodeTrainingValidation,這是一項深度健康檢查,會在執行個體上及跨執行個體訓練小型模型,以捕捉 NaN 或無限損失;HyperPod Kubernetes Resource Monitoring Agent,用於處理陷入崩潰迴圈的裝置外掛與缺失的 DaemonSet;以及針對在未退出的情況下停滯的 Slurm 作業進行卡住作業偵測。

本事件熱度走勢

可比範圍當前
6
可比範圍峰值
1011月19日 08:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。