SageMaker AI เพิ่มการกำหนดเส้นทางแบบรับรู้ KV cache สำหรับ endpoint แบบเรียลไทม์
เริ่มตรงนี้
Amazon SageMaker AI ได้เปิดตัวการกำหนดเส้นทางแบบรับรู้ KV cache สำหรับ endpoint แบบเรียลไทม์ กลยุทธ์การกำหนดเส้นทางนี้ใช้สถานะแคชที่รายงานโดยคอนเทนเนอร์ของโมเดลเพื่อส่งแต่ละคำขอไปยังอินสแตนซ์ที่มีแคชตรงกันนานที่สุด พร้อมทั้งพิจารณาความหนาแน่นของภาระงานบนอินสแตนซ์นั้นด้วย ฟีเจอร์นี้ใช้งานได้โดยไม่มีค่าใช้จ่ายเพิ่มเติมในทุกภูมิภาคเชิงพาณิชย์ของ AWS ที่รองรับการอนุมานแบบเรียลไทม์ของ SageMaker AI สำหรับ endpoint ที่ใช้คอนเทนเนอร์ที่รองรับ SageMaker AI จะรันและจัดการดัชนีแคช และลูกค้าจ่ายเฉพาะค่าอินสแตนซ์ที่ endpoint ใช้งานเท่านั้น เนื่องจากฟีเจอร์นี้จำเป็นต้องมีตัวเลือกปลายทาง จึงจะทำงานเฉพาะเมื่อ endpoint มีอินสแตนซ์อย่างน้อยสองอินสแตนซ์ หรือมีสำเนาของคอมโพเนนต์การอนุมานอย่างน้อยสองสำเนา
สร้างจากรายงาน · อัปเดต 3 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning BlogAmazon SageMaker AI real-time endpoints เพิ่มการกำหนดเส้นทางที่รับรู้ KV cache
Amazon SageMaker AI ได้เพิ่มการกำหนดเส้นทางที่รับรู้ KV cache สำหรับ real-time endpoints ซึ่งใช้สถานะแคชที่รายงานโดยคอนเทนเนอร์ของโมเดลเพื่อส่งแต่ละคำขอไปยังอินสแตนซ์ที่มีแคชตรงกันยาวที่สุด พร้อมทั้งชั่งน้ำหนักว่าอินสแตนซ์นั้นมีภาระงานมากเพียงใด
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 9
- จุดสูงสุดในช่วงที่เทียบได้
- 1018 พฤศจิกายน 06:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู