Tới nội dung
Sự việc nóngĐang diễn ra

SageMaker HyperPod bổ sung khả năng phục hồi khối lượng công việc và kiểm tra cơ sở hạ tầng

1 bài viết1 nguồn đưa tinCập nhật 20 giờ trước

Bắt đầu từ đây

Tóm tắt AI

AWS đã bổ sung khả năng phục hồi khối lượng công việc và mở rộng các kiểm tra cơ sở hạ tầng cho Amazon SageMaker HyperPod, nhằm phát hiện sớm hơn các lỗi huấn luyện và nâng cao goodput huấn luyện. Các bổ sung bao gồm MultiNodeTrainingValidation, một kiểm tra sức khỏe chuyên sâu huấn luyện một mô hình nhỏ trên và xuyên các instance để phát hiện NaN hoặc loss vô cực; HyperPod Kubernetes Resource Monitoring Agent, giám sát cụm liên tục và khi một job thất bại sẽ báo cáo các pod và node liên quan; và phát hiện job bị treo đối với các job Slurm bị đình trệ mà không thoát. Tính khả dụng gắn với từng công cụ. MultiNodeTrainingValidation chạy khi các instance được cấp phát hoặc theo yêu cầu. Phát hiện job bị treo chạy như một agent trên mọi node song song với từng job Slurm, và AWS cho biết tính năng này mặc định tắt. AWS giới thiệu các tính năng này như một cách phát hiện lỗi sớm hơn và cải thiện goodput; đó là mục tiêu mà công ty nêu ra, không phải kết quả đã đo được.

Tạo từ các bài viết · cập nhật 20 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

19 tháng 11
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPod bổ sung khả năng khôi phục khối lượng công việc và mở rộng kiểm tra hạ tầng

    Amazon SageMaker HyperPod hiện cung cấp khả năng khôi phục khối lượng công việc và mở rộng kiểm tra hạ tầng để nâng cao goodput huấn luyện. Các bổ sung bao gồm MultiNodeTrainingValidation, một kiểm tra sức khỏe chuyên sâu huấn luyện một mô hình nhỏ trên và xuyên các instance để phát hiện NaN hoặc loss vô hạn, HyperPod Kubernetes Resource Monitoring Agent cho các device plugin bị crash-loop và DaemonSet bị thiếu, và phát hiện job bị treo đối với các job Slurm bị kẹt mà không thoát.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
6
Đỉnh, trong khoảng so sánh được
1019 tháng 11 08:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.