AWS อธิบายวงล้อปรับปรุงโมเดลด้วย SageMaker HyperPod Data Capture

วิศวกร AWS สาธิตวงจร completo บนคลัสเตอร์ SageMaker HyperPod เดียวโดยใช้ความสามารถ Data Capture ใหม่ ซึ่งบันทึกอินพุตและเอาต์พุตการอนุมานสดไปยัง Amazon S3 ในสามระดับอิสระ ในตัวอย่างนี้ ตัวจัดเส้นทางตั๋วสนับสนุน Qwen2.5-3B-Instruct พลาดสายผลิตภัณฑ์เครื่องปรับอากาศที่เพิ่งเปิดตัว การสืบค้น Athena เผยให้เห็นจุดบอด นโยบาย SQL ติดป้ายกำกับตั๋วที่บันทึกไว้ใหม่ และการปรับแต่ง LoRA 60 วินาทีบน GPU ตัวที่สองยกระดับความแม่นยำบนชุดทดสอบจาก 83.9% เป็น 100% โดยไม่มีการถดถอยในหมวดหมู่ที่มีอยู่ ผู้เขียนรายงานว่าไม่มีความแตกต่างของเวลาแฝงที่วัดได้ระหว่างคำขอที่ส่งตรงไปยัง vLLM และผ่านพร็อกซีบันทึก