Hướng dẫn của AWS bổ sung ba bước kiểm tra phát hiện lỗi dữ liệu âm thầm trong huấn luyện DDP trên SageMaker HyperPod
Bắt đầu từ đây
AWS đã công bố một hướng dẫn bổ sung ba bước kiểm tra trong vòng lặp huấn luyện PyTorch DistributedDataParallel (DDP) trên Amazon SageMaker HyperPod nhằm phát hiện lỗi dữ liệu âm thầm: kiểm tra gradient không hữu hạn, kiểm tra phát lại vòng so sánh bit loss và dấu vân tay gradient giữa các node, và so sánh dấu vân tay trọng số sau bước tối ưu hóa. Trong các thử nghiệm với lỗi được tiêm bằng phần mềm trên 4 instance ml.p5.48xlarge (32 GPU NVIDIA H100), các bước kiểm tra đã xác định được rank nghi ngờ, ánh xạ rank đó tới một node, và cho phép HyperPod thay thế node rồi tiếp tục từ checkpoint. Thiết lập yêu cầu một cụm HyperPod được điều phối bởi Amazon EKS với ít nhất ba node GPU, và checkpoint trên lưu trữ dùng chung như FSx for Lustre hoặc S3. AWS lưu ý rằng việc thay thế một node sẽ phá hủy volume gốc và volume phụ của node đó, bao gồm dữ liệu trên NVMe cục bộ, và khuyến nghị giữ phê duyệt thủ công cho mọi lần thay thế cho đến khi độ chính xác của các bước kiểm tra được thiết lập trên khối lượng công việc của chính người dùng.
Tạo từ các bài viết · cập nhật 23 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogPhát hiện và khắc phục lỗi hỏng dữ liệu âm thầm trên Amazon SageMaker HyperPod
Một vòng lặp huấn luyện PyTorch DDP trên Amazon SageMaker HyperPod được bổ sung ba bước kiểm tra nhằm phát hiện lỗi hỏng dữ liệu âm thầm: kiểm tra gradient không hữu hạn, kiểm toán phát lại vòng so sánh bit loss và dấu vân tay gradient giữa các node, và so sánh dấu vân tay trọng số sau bước tối ưu hóa. Được thử nghiệm với lỗi tiêm phần mềm trên 4 instance ml.p5.48xlarge (32 GPU NVIDIA H100), các bước kiểm tra chỉ ra rank nghi ngờ, ánh xạ rank đó tới một node, và cho phép HyperPod thay thế node và tiếp tục từ checkpoint.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.