ข้ามไปที่เนื้อหา
AWS Machine Learning Blog· Dmitry Soldatkin·· 3 ชม. ที่แล้วคะแนน AI58

Amazon SageMaker AI real-time endpoints เพิ่มการกำหนดเส้นทางที่รับรู้ KV cache

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

สรุปโดย AI

Amazon SageMaker AI ได้เพิ่มการกำหนดเส้นทางที่รับรู้ KV cache สำหรับ real-time endpoints ซึ่งใช้สถานะแคชที่รายงานโดยคอนเทนเนอร์ของโมเดลเพื่อส่งแต่ละคำขอไปยังอินสแตนซ์ที่มีแคชตรงกันยาวที่สุด พร้อมทั้งชั่งน้ำหนักว่าอินสแตนซ์นั้นมีภาระงานมากเพียงใด

แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com