ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

SageMaker AI เพิ่มการกำหนดเส้นทางแบบรับรู้ KV cache สำหรับ endpoint แบบเรียลไทม์

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 3 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Amazon SageMaker AI ได้เปิดตัวการกำหนดเส้นทางแบบรับรู้ KV cache สำหรับ endpoint แบบเรียลไทม์ กลยุทธ์การกำหนดเส้นทางนี้ใช้สถานะแคชที่รายงานโดยคอนเทนเนอร์ของโมเดลเพื่อส่งแต่ละคำขอไปยังอินสแตนซ์ที่มีแคชตรงกันนานที่สุด พร้อมทั้งพิจารณาความหนาแน่นของภาระงานบนอินสแตนซ์นั้นด้วย ฟีเจอร์นี้ใช้งานได้โดยไม่มีค่าใช้จ่ายเพิ่มเติมในทุกภูมิภาคเชิงพาณิชย์ของ AWS ที่รองรับการอนุมานแบบเรียลไทม์ของ SageMaker AI สำหรับ endpoint ที่ใช้คอนเทนเนอร์ที่รองรับ SageMaker AI จะรันและจัดการดัชนีแคช และลูกค้าจ่ายเฉพาะค่าอินสแตนซ์ที่ endpoint ใช้งานเท่านั้น เนื่องจากฟีเจอร์นี้จำเป็นต้องมีตัวเลือกปลายทาง จึงจะทำงานเฉพาะเมื่อ endpoint มีอินสแตนซ์อย่างน้อยสองอินสแตนซ์ หรือมีสำเนาของคอมโพเนนต์การอนุมานอย่างน้อยสองสำเนา

สร้างจากรายงาน · อัปเดต 3 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

18 พฤศจิกายน
  1. AWS Machine Learning Blog
    Amazon SageMaker AI real-time endpoints เพิ่มการกำหนดเส้นทางที่รับรู้ KV cache

    Amazon SageMaker AI ได้เพิ่มการกำหนดเส้นทางที่รับรู้ KV cache สำหรับ real-time endpoints ซึ่งใช้สถานะแคชที่รายงานโดยคอนเทนเนอร์ของโมเดลเพื่อส่งแต่ละคำขอไปยังอินสแตนซ์ที่มีแคชตรงกันยาวที่สุด พร้อมทั้งชั่งน้ำหนักว่าอินสแตนซ์นั้นมีภาระงานมากเพียงใด

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
9
จุดสูงสุดในช่วงที่เทียบได้
1018 พฤศจิกายน 06:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู