ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

SageMaker HyperPod เพิ่มการกู้คืนเวิร์กโหลดและการตรวจสอบโครงสร้างพื้นฐาน

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 20 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

AWS ได้เพิ่มการกู้คืนเวิร์กโหลดและขยายการตรวจสอบโครงสร้างพื้นฐานให้กับ Amazon SageMaker HyperPod โดยมีเป้าหมายเพื่อตรวจจับความล้มเหลวในการเทรนได้เร็วขึ้นและเพิ่ม goodput ในการเทรน สิ่งที่เพิ่มเข้ามาได้แก่ MultiNodeTrainingValidation ซึ่งเป็นการตรวจสุขภาพเชิงลึกที่เทรนโมเดลขนาดเล็กบนและข้ามอินสแตนซ์เพื่อจับ NaN หรือ loss ที่เป็นอนันต์; HyperPod Kubernetes Resource Monitoring Agent ซึ่งเฝ้าดูคลัสเตอร์อย่างต่อเนื่องและเมื่องานล้มเหลวจะรายงานพอดและโหนดที่เกี่ยวข้อง; และการตรวจจับงานที่ค้างสำหรับงาน Slurm ที่หยุดชะงักโดยไม่สิ้นสุด ความพร้อมใช้งานขึ้นอยู่กับแต่ละเครื่องมือ MultiNodeTrainingValidation ทำงานเมื่อมีการจัดสรรอินสแตนซ์หรือตามต้องการ การตรวจจับงานที่ค้างทำงานเป็นเอเจนต์บนทุกโหนดควบคู่กับงาน Slurm แต่ละงาน และ AWS ระบุว่าปิดใช้งานเป็นค่าเริ่มต้น AWS นำเสนอฟีเจอร์เหล่านี้เป็นวิธีตรวจจับความล้มเหลวได้เร็วขึ้นและปรับปรุง goodput นั่นคือเป้าหมายที่บริษัทระบุไว้ ไม่ใช่ผลลัพธ์ที่วัดได้

สร้างจากรายงาน · อัปเดต 20 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

19 พฤศจิกายน
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPod เพิ่มการกู้คืนเวิร์กโหลดและการตรวจสอบโครงสร้างพื้นฐานที่ขยายเพิ่ม

    Amazon SageMaker HyperPod ตอนนี้มีให้บริการการกู้คืนเวิร์กโหลดและการตรวจสอบโครงสร้างพื้นฐานที่ขยายเพิ่ม เพื่อยกระดับ goodput ในการฝึกอบรม สิ่งที่เพิ่มเข้ามาได้แก่ MultiNodeTrainingValidation ซึ่งเป็นการตรวจสอบสุขภาพเชิงลึกที่ฝึกโมเดลขนาดเล็กบนและข้ามอินสแตนซ์เพื่อจับ NaN หรือ loss ที่เป็นอนันต์, HyperPod Kubernetes Resource Monitoring Agent สำหรับ device plugins ที่ crash-loop และ DaemonSets ที่หายไป และการตรวจจับงานที่ค้างสำหรับงาน Slurm ที่หยุดชะงักโดยไม่สิ้นสุด

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
6
จุดสูงสุดในช่วงที่เทียบได้
1019 พฤศจิกายน 08:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู