Phát hiện và khắc phục lỗi hỏng dữ liệu âm thầm trên Amazon SageMaker HyperPod

Một vòng lặp huấn luyện PyTorch DDP trên Amazon SageMaker HyperPod được bổ sung ba bước kiểm tra nhằm phát hiện lỗi hỏng dữ liệu âm thầm: kiểm tra gradient không hữu hạn, kiểm toán phát lại vòng so sánh bit loss và dấu vân tay gradient giữa các node, và so sánh dấu vân tay trọng số sau bước tối ưu hóa. Được thử nghiệm với lỗi tiêm phần mềm trên 4 instance ml.p5.48xlarge (32 GPU NVIDIA H100), các bước kiểm tra chỉ ra rank nghi ngờ, ánh xạ rank đó tới một node, và cho phép HyperPod thay thế node và tiếp tục từ checkpoint.