Tới nội dung
AWS Machine Learning Blog· Mijanur Palash·· 3 giờ trướcĐiểm AI38

Amazon SageMaker HyperPod bổ sung khả năng quan sát hạ tầng nâng cao cho huấn luyện GPU

Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod

Tóm tắt bằng AI

Amazon SageMaker HyperPod hiện cung cấp khả năng quan sát nâng cao giúp các nhóm chẩn đoán sự cố huấn luyện GPU nhanh hơn trên cả Amazon EKS và Slurm. Bản tóm tắt chẩn đoán sử dụng API DetectGroupOutliers của CloudWatch để đánh dấu các GPU có sai lệch về mức sử dụng, bộ nhớ, nhiệt độ, công suất và xung nhịp SM, trong khi các quy tắc tĩnh phát hiện lỗi XID, lỗi ECC, sụt giảm thông lượng EFA và hiện tượng giảm xung do nhiệt. Các chỉ số mặc định được thu thập mỗi 30 giây với mức tiêu hao CPU khoảng 1–2%, CloudWatch hiện là kho lưu trữ chỉ số mặc định song song với Amazon Managed Service for Prometheus.

Nguồn:AWS Machine Learning Blog · aws.amazon.com