AWS guide adds three checks for silent data corruption in SageMaker HyperPod DDP training
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
AWS published a guide adding three in-loop checks to a PyTorch DistributedDataParallel (DDP) training loop on Amazon SageMaker HyperPod to detect silent data corruption: a non-finite gradient check, a ring replay audit comparing loss bits and gradient fingerprints across nodes, and a weight fingerprint comparison after the optimizer step. In tests with software-injected faults on 4 ml.p5.48xlarge instances (32 NVIDIA H100 GPUs), the checks identified a suspect rank, mapped it to a node, and let HyperPod replace the node and resume from a checkpoint. The setup requires a HyperPod cluster orchestrated by Amazon EKS with at least three GPU nodes, and checkpoints on shared storage such as FSx for Lustre or S3. AWS notes that replacing a node destroys its root and secondary volumes, including data on local NVMe, and recommends keeping human approval on every replacement until the checks' precision is established on the user's own workload.
สร้างจากรายงาน · อัปเดต 22 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning Blogการตรวจจับและกู้คืนจากความเสียหายของข้อมูลแบบเงียบบน Amazon SageMaker HyperPod
ลูปการฝึก PyTorch DDP บน Amazon SageMaker HyperPod ได้รับการตรวจสอบสามรายการที่จับความเสียหายของข้อมูลแบบเงียบ: การตรวจสอบเกรเดียนต์ที่ไม่ใช่ค่าจำกัด การตรวจสอบการเล่นซ้ำแบบริงที่เปรียบเทียบบิตของ loss และลายนิ้วมือของเกรเดียนต์ข้ามโหนด และการเปรียบเทียบลายนิ้วมือของน้ำหนักหลังขั้นตอนออปติไมเซอร์ ทดสอบด้วยข้อบกพร่องที่ใส่เข้าไปโดยซอฟต์แวร์บนอินสแตนซ์ ml.p5.48xlarge จำนวน 4 เครื่อง (GPU NVIDIA H100 จำนวน 32 ตัว) การตรวจสอบเหล่านี้ระบุแรงก์ที่น่าสงสัย แมปไปยังโหนด และให้ HyperPod แทนที่โหนดและดำเนินการต่อจากเช็กพอยต์
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม