在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

在 Amazon SageMaker HyperPod 上运行的 PyTorch DDP 训练循环新增了三项检查，用于捕获静默数据损坏：非有限梯度检查、跨节点比较 loss 位与梯度指纹的环形重放审计，以及优化器步骤后的权重指纹比较。在 4 台 ml.p5.48xlarge 实例（32 块 NVIDIA H100 GPU）上通过软件注入故障进行测试，这些检查能指出可疑的 rank、将其映射到节点，并让 HyperPod 替换该节点并从检查点恢复。