AWS bổ sung khả năng quan sát GPU nâng cao cho SageMaker HyperPod
Bắt đầu từ đây
AWS đã bổ sung khả năng quan sát nâng cao cho Amazon SageMaker HyperPod, nhằm giúp các nhóm chẩn đoán sự cố huấn luyện GPU nhanh hơn trên cả Amazon EKS và Slurm. Bản tóm tắt chẩn đoán sử dụng API DetectGroupOutliers của CloudWatch để đánh dấu các GPU lệch về mức sử dụng, bộ nhớ, nhiệt độ, công suất và xung nhịp SM, trong khi các quy tắc tĩnh phát hiện lỗi XID, lỗi ECC, sụt giảm thông lượng EFA và hiện tượng giảm xung do nhiệt. Các chỉ số mặc định được thu thập mỗi 30 giây với mức tiêu hao CPU khoảng 1–2% và được bật tự động, bao gồm tình trạng cụm, mức sử dụng CPU/đĩa/OS, mức sử dụng và nhiệt độ GPU, cùng mức sử dụng tài nguyên theo từng job. Các chỉ số nâng cao là tùy chọn vì chúng làm tăng khối lượng telemetry gửi đến kho chỉ số, kéo theo chi phí. CloudWatch hiện là kho chỉ số mặc định song song với Amazon Managed Service for Prometheus. Tính năng này khả dụng ở tất cả các AWS Region nơi SageMaker HyperPod khả dụng. Trong Quick setup, khả năng quan sát của HyperPod được bật mặc định và không thể bỏ chọn.
Tạo từ các bài viết · cập nhật 2 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogAmazon SageMaker HyperPod bổ sung khả năng quan sát hạ tầng nâng cao cho huấn luyện GPU
Amazon SageMaker HyperPod hiện cung cấp khả năng quan sát nâng cao giúp các nhóm chẩn đoán sự cố huấn luyện GPU nhanh hơn trên cả Amazon EKS và Slurm. Bản tóm tắt chẩn đoán sử dụng API DetectGroupOutliers của CloudWatch để đánh dấu các GPU có sai lệch về mức sử dụng, bộ nhớ, nhiệt độ, công suất và xung nhịp SM, trong khi các quy tắc tĩnh phát hiện lỗi XID, lỗi ECC, sụt giảm thông lượng EFA và hiện tượng giảm xung do nhiệt. Các chỉ số mặc định được thu thập mỗi 30 giây với mức tiêu hao CPU khoảng 1–2%, CloudWatch hiện là kho lưu trữ chỉ số mặc định song song với Amazon Managed Service for Prometheus.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.