SageMaker HyperPod bổ sung khả năng phục hồi khối lượng công việc và kiểm tra cơ sở hạ tầng
Bắt đầu từ đây
AWS đã bổ sung khả năng phục hồi khối lượng công việc và mở rộng các kiểm tra cơ sở hạ tầng cho Amazon SageMaker HyperPod, nhằm phát hiện sớm hơn các lỗi huấn luyện và nâng cao goodput huấn luyện. Các bổ sung bao gồm MultiNodeTrainingValidation, một kiểm tra sức khỏe chuyên sâu huấn luyện một mô hình nhỏ trên và xuyên các instance để phát hiện NaN hoặc loss vô cực; HyperPod Kubernetes Resource Monitoring Agent, giám sát cụm liên tục và khi một job thất bại sẽ báo cáo các pod và node liên quan; và phát hiện job bị treo đối với các job Slurm bị đình trệ mà không thoát. Tính khả dụng gắn với từng công cụ. MultiNodeTrainingValidation chạy khi các instance được cấp phát hoặc theo yêu cầu. Phát hiện job bị treo chạy như một agent trên mọi node song song với từng job Slurm, và AWS cho biết tính năng này mặc định tắt. AWS giới thiệu các tính năng này như một cách phát hiện lỗi sớm hơn và cải thiện goodput; đó là mục tiêu mà công ty nêu ra, không phải kết quả đã đo được.
Tạo từ các bài viết · cập nhật 20 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogAmazon SageMaker HyperPod bổ sung khả năng khôi phục khối lượng công việc và mở rộng kiểm tra hạ tầng
Amazon SageMaker HyperPod hiện cung cấp khả năng khôi phục khối lượng công việc và mở rộng kiểm tra hạ tầng để nâng cao goodput huấn luyện. Các bổ sung bao gồm MultiNodeTrainingValidation, một kiểm tra sức khỏe chuyên sâu huấn luyện một mô hình nhỏ trên và xuyên các instance để phát hiện NaN hoặc loss vô hạn, HyperPod Kubernetes Resource Monitoring Agent cho các device plugin bị crash-loop và DaemonSet bị thiếu, và phát hiện job bị treo đối với các job Slurm bị kẹt mà không thoát.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 6
- Đỉnh, trong khoảng so sánh được
- 1019 tháng 11 08:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.