Tới nội dung
Sự việc nóngĐang diễn ra

AWS bổ sung khả năng quan sát GPU nâng cao cho SageMaker HyperPod

1 bài viết1 nguồn đưa tinCập nhật 3 giờ trước

Bắt đầu từ đây

Tóm tắt AI

AWS đã bổ sung khả năng quan sát nâng cao cho Amazon SageMaker HyperPod, nhằm giúp các nhóm chẩn đoán sự cố huấn luyện GPU nhanh hơn trên cả Amazon EKS và Slurm. Bản tóm tắt chẩn đoán sử dụng API DetectGroupOutliers của CloudWatch để đánh dấu các GPU lệch về mức sử dụng, bộ nhớ, nhiệt độ, công suất và xung nhịp SM, trong khi các quy tắc tĩnh phát hiện lỗi XID, lỗi ECC, sụt giảm thông lượng EFA và hiện tượng giảm xung do nhiệt. Các chỉ số mặc định được thu thập mỗi 30 giây với mức tiêu hao CPU khoảng 1–2% và được bật tự động, bao gồm tình trạng cụm, mức sử dụng CPU/đĩa/OS, mức sử dụng và nhiệt độ GPU, cùng mức sử dụng tài nguyên theo từng job. Các chỉ số nâng cao là tùy chọn vì chúng làm tăng khối lượng telemetry gửi đến kho chỉ số, kéo theo chi phí. CloudWatch hiện là kho chỉ số mặc định song song với Amazon Managed Service for Prometheus. Tính năng này khả dụng ở tất cả các AWS Region nơi SageMaker HyperPod khả dụng. Trong Quick setup, khả năng quan sát của HyperPod được bật mặc định và không thể bỏ chọn.

Tạo từ các bài viết · cập nhật 2 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

20 tháng 11
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPod bổ sung khả năng quan sát hạ tầng nâng cao cho huấn luyện GPU

    Amazon SageMaker HyperPod hiện cung cấp khả năng quan sát nâng cao giúp các nhóm chẩn đoán sự cố huấn luyện GPU nhanh hơn trên cả Amazon EKS và Slurm. Bản tóm tắt chẩn đoán sử dụng API DetectGroupOutliers của CloudWatch để đánh dấu các GPU có sai lệch về mức sử dụng, bộ nhớ, nhiệt độ, công suất và xung nhịp SM, trong khi các quy tắc tĩnh phát hiện lỗi XID, lỗi ECC, sụt giảm thông lượng EFA và hiện tượng giảm xung do nhiệt. Các chỉ số mặc định được thu thập mỗi 30 giây với mức tiêu hao CPU khoảng 1–2%, CloudWatch hiện là kho lưu trữ chỉ số mặc định song song với Amazon Managed Service for Prometheus.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.