ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

SageMaker AI เพิ่มการตรวจสอบดริฟต์เริ่มต้นสำหรับเอนด์พอยต์การอนุมาน

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 2 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Amazon SageMaker AI ตรวจสอบเอนด์พอยต์การอนุมานของ AI เชิงสร้างสรรค์โดยค่าเริ่มต้นแล้ว โดยแจ้งเตือนดริฟต์ของเวลาแฝง, GPU ที่ใช้งานไม่เต็มที่, การขาด speculative decoding, คอนเทนเนอร์ให้บริการที่ล้าสมัย และ GPU kernel ที่ยังไม่ได้ปรับแต่ง การตรวจสอบนี้ใช้กับเอนด์พอยต์ที่ใช้คอนเทนเนอร์ให้บริการ vLLM บนอินสแตนซ์ GPU และไม่ต้องตั้งค่าใด ๆ ผู้ใช้สามารถเลือกไม่ใช้ต่อเอนด์พอยต์ได้โดยตั้งค่าตัวแปรสภาพแวดล้อม OPT_OUT_TRACKING บนคอนเทนเนอร์ของโมเดล ผลการตรวจสอบจะมาในรูปแบบการแจ้งเตือน AWS Health จาก notification ผู้ใช้สามารถเปิดประสบการณ์แบบ agentic ใน SageMaker Studio ที่เปรียบเทียบทางเลือกต่าง ๆ บนคอมพิวต์แยกกัน เทียบกับเวลาตอบสนอง, ปริมาณงานต่อหน่วยเวลา และค่าใช้จ่ายต่อล้านโทเคน ตามข้อมูลของ AWS การตรวจสอบเองไม่มีค่าใช้จ่าย GPU ขณะที่การ benchmark คิดตามอัตรามาตรฐานของ SageMaker AI หรือหักจาก ML reservation ที่มีอยู่

สร้างจากรายงาน · อัปเดต 2 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

20 พฤศจิกายน
  1. AWS Machine Learning Blog
    Amazon SageMaker AI เพิ่มการตรวจสอบค่าเริ่มต้นสำหรับ latency drift, GPU ที่ไม่ได้ใช้งาน และการปรับแต่งที่พลาดไปบน inference endpoint

    Amazon SageMaker AI ตรวจสอบ generative AI inference endpoint โดยค่าเริ่มต้นสำหรับ endpoint ที่ใช้ vLLM serving container และ GPU instance โดยแจ้งเตือน latency drift, GPU ที่ใช้งานไม่เต็มที่, การขาด speculative decoding, serving container ที่ล้าสมัย และ GPU kernel ที่ยังไม่ได้ปรับแต่ง ผลการตรวจพบจะมาในรูปแบบการแจ้งเตือน AWS Health และเมื่อเลือกหนึ่งรายการจะเปิดประสบการณ์ agentic ใน SageMaker Studio เพื่อเปรียบเทียบทางเลือกบน compute แยกต่างหากในด้านเวลาตอบสนอง, throughput และค่าใช้จ่ายต่อล้านโทเค็น การตรวจสอบอ่านเฉพาะ latency, GPU utilization และการกำหนดค่า serving เท่านั้น ไม่มีค่าใช้จ่าย GPU และสามารถเลือกไม่ใช้ได้ต่อ endpoint ผ่านตัวแปรสภาพแวดล้อม OPT_OUT_TRACKING

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม