在 Amazon SageMaker HyperPod 上偵測並復原無聲資料損毀

在 Amazon SageMaker HyperPod 上執行的 PyTorch DDP 訓練迴圈新增了三項檢查來捕捉無聲資料損毀：非有限梯度檢查、環狀重播稽核（比對各節點的損失位元與梯度指紋），以及最佳化器步驟後的權重指紋比對。在 4 台 ml.p5.48xlarge 執行個體（32 張 NVIDIA H100 GPU）上以軟體注入故障測試，這些檢查能指出可疑的 rank、將其對應到節點，並讓 HyperPod 更換該節點並從檢查點繼續執行。