AWS 发布指南，为 SageMaker HyperPod 上的 DDP 训练新增三项静默数据损坏检查
热点事件观察中
AWS 发布指南，为 SageMaker HyperPod 上的 DDP 训练新增三项静默数据损坏检查
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
AWS 发布了一份指南，在 Amazon SageMaker HyperPod 上的 PyTorch DistributedDataParallel (DDP) 训练循环中加入三项循环内检查，以检测静默数据损坏：非有限梯度检查、跨节点比较 loss 位与梯度指纹的 ring replay 审计，以及优化器步骤后的权重指纹比较。在 4 台 ml.p5.48xlarge 实例（32 块 NVIDIA H100 GPU）上注入软件故障的测试中，这些检查识别出可疑 rank，将其映射到节点，并让 HyperPod 替换该节点并从检查点恢复。 该方案要求由 Amazon EKS 编排的 HyperPod 集群，至少三个 GPU 节点，以及位于 FSx for Lustre 或 S3 等共享存储上的检查点。AWS 指出，替换节点会销毁其根卷和辅助卷，包括本地 NVMe 上的数据，并建议在用户自身工作负载上确立这些检查的精确度之前，每次替换都保留人工审批。
AI 根据报道生成 · 1 天前更新
最新进展11月12日 07:30
在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- AWS Machine Learning Blog在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
在 Amazon SageMaker HyperPod 上运行的 PyTorch DDP 训练循环新增了三项检查，用于捕获静默数据损坏：非有限梯度检查、跨节点比较 loss 位与梯度指纹的环形重放审计，以及优化器步骤后的权重指纹比较。在 4 台 ml.p5.48xlarge 实例（32 块 NVIDIA H100 GPU）上通过软件注入故障进行测试，这些检查能指出可疑的 rank、将其映射到节点，并让 HyperPod 替换该节点并从检查点恢复。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。