AWS เพิ่มความสามารถในการสังเกตการณ์ GPU แบบปรับปรุงให้กับ SageMaker HyperPod
เริ่มตรงนี้
AWS ได้เพิ่มความสามารถในการสังเกตการณ์แบบปรับปรุงให้กับ Amazon SageMaker HyperPod โดยมุ่งหวังช่วยให้ทีมต่างๆ วินิจฉัยปัญหาในการฝึกโมเดลด้วย GPU ได้เร็วขึ้นทั้งบน Amazon EKS และ Slurm สรุปการวินิจฉัยใช้ API DetectGroupOutliers ของ CloudWatch เพื่อระบุ GPU ที่เบี่ยงเบนในด้านการใช้งานหน่วยความจำ อุณหภูมิ กำลังไฟ และ SM clock ขณะที่กฎแบบคงที่ช่วยแสดงข้อผิดพลาด XID, ความผิดพลาด ECC, ปริมาณการรับส่งข้อมูล EFA ที่ลดลง และการ throttling จากความร้อน เมตริกเริ่มต้นจะถูกเก็บทุก 30 วินาทีโดยมีค่าใช้จ่าย CPU ประมาณ 1–2% และเปิดใช้งานโดยอัตโนมัติ ครอบคลุมสุขภาพคลัสเตอร์ การใช้งานระดับ CPU/ดิสก์/OS การใช้งาน GPU และอุณหภูมิ และการใช้ทรัพยากรต่อแต่ละงาน เมตริกขั้นสูงเป็นตัวเลือกเสริมเนื่องจากเพิ่มปริมาณ telemetry ที่ส่งไปยังที่เก็บเมตริกซึ่งมีค่าใช้จ่าย CloudWatch เป็นที่เก็บเมตริกเริ่มต้นควบคู่กับ Amazon Managed Service for Prometheus ความสามารถนี้พร้อมใช้งานในทุก AWS Region ที่มี SageMaker HyperPod ในการตั้งค่าแบบด่วน (Quick setup) การสังเกตการณ์ของ HyperPod จะเปิดใช้งานโดยค่าเริ่มต้นและไม่สามารถยกเลิกการเลือกได้
สร้างจากรายงาน · อัปเดต 2 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning BlogAmazon SageMaker HyperPod เพิ่มความสามารถในการสังเกตโครงสร้างพื้นฐานที่ปรับปรุงแล้วสำหรับการฝึกอบรมด้วย GPU
ขณะนี้ Amazon SageMaker HyperPod มีความสามารถในการสังเกตที่ปรับปรุงแล้วเพื่อช่วยให้ทีมวินิจฉัยปัญหาในการฝึกอบรมด้วย GPU ได้เร็วขึ้นทั้งบน Amazon EKS และ Slurm สรุปการวินิจฉัยใช้ API DetectGroupOutliers ของ CloudWatch เพื่อระบุ GPU ที่เบี่ยงเบนในด้านการใช้งาน หน่วยความจำ อุณหภูมิ กำลังไฟ และ SM clock ขณะที่กฎแบบคงที่ช่วยแสดงข้อผิดพลาด XID, ความผิดพลาด ECC, การลดลงของปริมาณงาน EFA และการจำกัดความร้อน เมตริกเริ่มต้นถูกเก็บทุก 30 วินาทีโดยมีค่าใช้จ่าย CPU ประมาณ 1–2% โดยปัจจุบัน CloudWatch เป็นที่เก็บเมตริกเริ่มต้นควบคู่กับ Amazon Managed Service for Prometheus
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม