Amazon SageMaker AI เพิ่มการตรวจสอบค่าเริ่มต้นสำหรับ latency drift, GPU ที่ไม่ได้ใช้งาน และการปรับแต่งที่พลาดไปบน inference endpoint
Amazon SageMaker AI now detects latency drift, idle GPUs, and missed optimizations on your inference endpoints
Amazon SageMaker AI ตรวจสอบ generative AI inference endpoint โดยค่าเริ่มต้นสำหรับ endpoint ที่ใช้ vLLM serving container และ GPU instance โดยแจ้งเตือน latency drift, GPU ที่ใช้งานไม่เต็มที่, การขาด speculative decoding, serving container ที่ล้าสมัย และ GPU kernel ที่ยังไม่ได้ปรับแต่ง ผลการตรวจพบจะมาในรูปแบบการแจ้งเตือน AWS Health และเมื่อเลือกหนึ่งรายการจะเปิดประสบการณ์ agentic ใน SageMaker Studio เพื่อเปรียบเทียบทางเลือกบน compute แยกต่างหากในด้านเวลาตอบสนอง, throughput และค่าใช้จ่ายต่อล้านโทเค็น การตรวจสอบอ่านเฉพาะ latency, GPU utilization และการกำหนดค่า serving เท่านั้น ไม่มีค่าใช้จ่าย GPU และสามารถเลือกไม่ใช้ได้ต่อ endpoint ผ่านตัวแปรสภาพแวดล้อม OPT_OUT_TRACKING
แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com