AWS Machine Learning Blog· Mijanur Palash·· 3 giờ trướcĐiểm AI38
Amazon SageMaker HyperPod bổ sung khả năng quan sát hạ tầng nâng cao cho huấn luyện GPU
Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod
Tóm tắt bằng AI
Amazon SageMaker HyperPod hiện cung cấp khả năng quan sát nâng cao giúp các nhóm chẩn đoán sự cố huấn luyện GPU nhanh hơn trên cả Amazon EKS và Slurm. Bản tóm tắt chẩn đoán sử dụng API DetectGroupOutliers của CloudWatch để đánh dấu các GPU có sai lệch về mức sử dụng, bộ nhớ, nhiệt độ, công suất và xung nhịp SM, trong khi các quy tắc tĩnh phát hiện lỗi XID, lỗi ECC, sụt giảm thông lượng EFA và hiện tượng giảm xung do nhiệt. Các chỉ số mặc định được thu thập mỗi 30 giây với mức tiêu hao CPU khoảng 1–2%, CloudWatch hiện là kho lưu trữ chỉ số mặc định song song với Amazon Managed Service for Prometheus.
Nguồn:AWS Machine Learning Blog · aws.amazon.com