AWS Machine Learning Blog· Mijanur Palash·· 3 ชม. ที่แล้วคะแนน AI38
Amazon SageMaker HyperPod เพิ่มความสามารถในการสังเกตโครงสร้างพื้นฐานที่ปรับปรุงแล้วสำหรับการฝึกอบรมด้วย GPU
Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod
สรุปโดย AI
ขณะนี้ Amazon SageMaker HyperPod มีความสามารถในการสังเกตที่ปรับปรุงแล้วเพื่อช่วยให้ทีมวินิจฉัยปัญหาในการฝึกอบรมด้วย GPU ได้เร็วขึ้นทั้งบน Amazon EKS และ Slurm สรุปการวินิจฉัยใช้ API DetectGroupOutliers ของ CloudWatch เพื่อระบุ GPU ที่เบี่ยงเบนในด้านการใช้งาน หน่วยความจำ อุณหภูมิ กำลังไฟ และ SM clock ขณะที่กฎแบบคงที่ช่วยแสดงข้อผิดพลาด XID, ความผิดพลาด ECC, การลดลงของปริมาณงาน EFA และการจำกัดความร้อน เมตริกเริ่มต้นถูกเก็บทุก 30 วินาทีโดยมีค่าใช้จ่าย CPU ประมาณ 1–2% โดยปัจจุบัน CloudWatch เป็นที่เก็บเมตริกเริ่มต้นควบคู่กับ Amazon Managed Service for Prometheus
แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com