การตรวจจับและกู้คืนจากความเสียหายของข้อมูลแบบเงียบบน Amazon SageMaker HyperPod

ลูปการฝึก PyTorch DDP บน Amazon SageMaker HyperPod ได้รับการตรวจสอบสามรายการที่จับความเสียหายของข้อมูลแบบเงียบ: การตรวจสอบเกรเดียนต์ที่ไม่ใช่ค่าจำกัด การตรวจสอบการเล่นซ้ำแบบริงที่เปรียบเทียบบิตของ loss และลายนิ้วมือของเกรเดียนต์ข้ามโหนด และการเปรียบเทียบลายนิ้วมือของน้ำหนักหลังขั้นตอนออปติไมเซอร์ ทดสอบด้วยข้อบกพร่องที่ใส่เข้าไปโดยซอฟต์แวร์บนอินสแตนซ์ ml.p5.48xlarge จำนวน 4 เครื่อง (GPU NVIDIA H100 จำนวน 32 ตัว) การตรวจสอบเหล่านี้ระบุแรงก์ที่น่าสงสัย แมปไปยังโหนด และให้ HyperPod แทนที่โหนดและดำเนินการต่อจากเช็กพอยต์