AWS 指南为 SageMaker HyperPod DDP 训练新增三项静默数据损坏检查
熱點事件觀察中
AWS 指南为 SageMaker HyperPod DDP 训练新增三项静默数据损坏检查
1 篇報導1 個報導來源2 天前更新
先了解這件事
AI 綜述
AWS 发布了一份指南，在 Amazon SageMaker HyperPod 上的 PyTorch DistributedDataParallel（DDP）训练循环中加入三项循环内检查，以检测静默数据损坏：非有限梯度检查、环形重放审计（比较各节点的损失位与梯度指纹），以及优化器步骤后的权重指纹比较。在 4 台 ml.p5.48xlarge 实例（32 块 NVIDIA H100 GPU）上注入软件故障的测试中，这些检查识别出可疑的 rank，将其映射到节点，并让 HyperPod 替换该节点并从检查点恢复。 该设置需要一个由 Amazon EKS 编排的 HyperPod 集群，至少包含三个 GPU 节点，并将检查点存放在共享存储上，例如 FSx for Lustre 或 S3。AWS 指出，替换节点会销毁其根卷和辅助卷，包括本地 NVMe 上的数据，并建议在用户自身工作负载上确立这些检查的精确度之前，每次替换都保留人工审批。
AI 依報導生成 · 1 天前更新
最新進展11月12日 07:30
在 Amazon SageMaker HyperPod 上偵測並復原無聲資料損毀報導時間線
沿著報導，了解事件的不同側面。
11月12日
- AWS Machine Learning Blog在 Amazon SageMaker HyperPod 上偵測並復原無聲資料損毀
在 Amazon SageMaker HyperPod 上執行的 PyTorch DDP 訓練迴圈新增了三項檢查來捕捉無聲資料損毀：非有限梯度檢查、環狀重播稽核（比對各節點的損失位元與梯度指紋），以及最佳化器步驟後的權重指紋比對。在 4 台 ml.p5.48xlarge 執行個體（32 張 NVIDIA H100 GPU）上以軟體注入故障測試，這些檢查能指出可疑的 rank、將其對應到節點，並讓 HyperPod 更換該節點並從檢查點繼續執行。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。