AWS สาธิตวงล้อปรับปรุงโมเดลด้วย SageMaker HyperPod Data Capture

วิศวกรของ AWS เผยแพร่บทแนะนำการทำงานของวงจรปรับปรุงโมเดลที่รันทั้งหมดบนคลัสเตอร์ SageMaker HyperPod เดียว โดยใช้ความสามารถใหม่ Data Capture ซึ่งบันทึกอินพุตและเอาต์พุตของการอนุมานแบบเรียลไทม์ไปยัง Amazon S3 ในสามระดับที่เป็นอิสระต่อกัน ในตัวอย่างนี้ ตัวจัดเส้นทางตั๋วสนับสนุน Qwen2.5-3B-Instruct จัดเส้นทางตั๋วของไลน์เครื่องปรับอากาศที่เพิ่งเปิดตัวผิดพลาด คิวรี Athena เผยให้เห็นช่องว่างดังกล่าว นโยบาย SQL ติดป้ายกำกับตั๋วที่บันทึกไว้ใหม่ และการปรับแต่ง LoRA เป็นเวลา 60 วินาทีบน GPU ตัวที่สองช่วยเพิ่มความแม่นยำบนชุดทดสอบที่แยกไว้จาก 83.9% เป็น 100% โดยไม่ทำให้หมวดหมู่ที่มีอยู่เดิมแย่ลง ผู้เขียนรายงานว่าไม่พบความแตกต่างของเวลาแฝงที่วัดได้ระหว่างคำขอที่ส่งตรงไปยัง vLLM กับคำขอที่ส่งผ่านพร็อกซีบันทึกข้อมูล Data Capture ใช้งานได้แล้ววันนี้บนคลัสเตอร์ HyperPod ที่รัน inference operator ผู้ใช้เปิดใช้งานได้โดยเพิ่มส่วน dataCapture ลงใน InferenceEndpointConfig หรือทรัพยากร JumpStartModel การปิดวงจรบนคลัสเตอร์เดียวกันต้องเพิ่ม add-on ของ EKS ชื่อ amazon-sagemaker-hyperpod-training-operator งานฝึกอบรมจะติดตั้งแพ็กเกจ Python สามตัวเมื่อเริ่มต้น และโหนดฝึกอบรมต้องมีการเข้าถึงอินเทอร์เน็ตขาออก เช่น ผ่าน NAT gateway เช่นเดียวกับการดึงอิมเมจ vllm/vllm-openai จาก Docker Hub

สร้างจากรายงาน · อัปเดต 41 นาทีที่แล้ว

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม