SageMaker HyperPod เพิ่มการกู้คืนเวิร์กโหลดและการตรวจสอบโครงสร้างพื้นฐาน
เริ่มตรงนี้
AWS ได้เพิ่มการกู้คืนเวิร์กโหลดและขยายการตรวจสอบโครงสร้างพื้นฐานให้กับ Amazon SageMaker HyperPod โดยมีเป้าหมายเพื่อตรวจจับความล้มเหลวในการเทรนได้เร็วขึ้นและเพิ่ม goodput ในการเทรน สิ่งที่เพิ่มเข้ามาได้แก่ MultiNodeTrainingValidation ซึ่งเป็นการตรวจสุขภาพเชิงลึกที่เทรนโมเดลขนาดเล็กบนและข้ามอินสแตนซ์เพื่อจับ NaN หรือ loss ที่เป็นอนันต์; HyperPod Kubernetes Resource Monitoring Agent ซึ่งเฝ้าดูคลัสเตอร์อย่างต่อเนื่องและเมื่องานล้มเหลวจะรายงานพอดและโหนดที่เกี่ยวข้อง; และการตรวจจับงานที่ค้างสำหรับงาน Slurm ที่หยุดชะงักโดยไม่สิ้นสุด ความพร้อมใช้งานขึ้นอยู่กับแต่ละเครื่องมือ MultiNodeTrainingValidation ทำงานเมื่อมีการจัดสรรอินสแตนซ์หรือตามต้องการ การตรวจจับงานที่ค้างทำงานเป็นเอเจนต์บนทุกโหนดควบคู่กับงาน Slurm แต่ละงาน และ AWS ระบุว่าปิดใช้งานเป็นค่าเริ่มต้น AWS นำเสนอฟีเจอร์เหล่านี้เป็นวิธีตรวจจับความล้มเหลวได้เร็วขึ้นและปรับปรุง goodput นั่นคือเป้าหมายที่บริษัทระบุไว้ ไม่ใช่ผลลัพธ์ที่วัดได้
สร้างจากรายงาน · อัปเดต 20 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning BlogAmazon SageMaker HyperPod เพิ่มการกู้คืนเวิร์กโหลดและการตรวจสอบโครงสร้างพื้นฐานที่ขยายเพิ่ม
Amazon SageMaker HyperPod ตอนนี้มีให้บริการการกู้คืนเวิร์กโหลดและการตรวจสอบโครงสร้างพื้นฐานที่ขยายเพิ่ม เพื่อยกระดับ goodput ในการฝึกอบรม สิ่งที่เพิ่มเข้ามาได้แก่ MultiNodeTrainingValidation ซึ่งเป็นการตรวจสอบสุขภาพเชิงลึกที่ฝึกโมเดลขนาดเล็กบนและข้ามอินสแตนซ์เพื่อจับ NaN หรือ loss ที่เป็นอนันต์, HyperPod Kubernetes Resource Monitoring Agent สำหรับ device plugins ที่ crash-loop และ DaemonSets ที่หายไป และการตรวจจับงานที่ค้างสำหรับงาน Slurm ที่หยุดชะงักโดยไม่สิ้นสุด
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 6
- จุดสูงสุดในช่วงที่เทียบได้
- 1019 พฤศจิกายน 08:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู