Tới nội dung
AWS Machine Learning Blog· Roy Allela·· 20 giờ trướcĐiểm AI36

Amazon SageMaker HyperPod bổ sung khả năng khôi phục khối lượng công việc và mở rộng kiểm tra hạ tầng

Introducing workload recovery and expanded infrastructure checks on Amazon SageMaker HyperPod

Tóm tắt bằng AI

Amazon SageMaker HyperPod hiện cung cấp khả năng khôi phục khối lượng công việc và mở rộng kiểm tra hạ tầng để nâng cao goodput huấn luyện. Các bổ sung bao gồm MultiNodeTrainingValidation, một kiểm tra sức khỏe chuyên sâu huấn luyện một mô hình nhỏ trên và xuyên các instance để phát hiện NaN hoặc loss vô hạn, HyperPod Kubernetes Resource Monitoring Agent cho các device plugin bị crash-loop và DaemonSet bị thiếu, và phát hiện job bị treo đối với các job Slurm bị kẹt mà không thoát.

Nguồn:AWS Machine Learning Blog · aws.amazon.com