AWS Machine Learning Blog· Dmitry Soldatkin·· 3 ชม. ที่แล้วคะแนน AI58
Amazon SageMaker AI real-time endpoints เพิ่มการกำหนดเส้นทางที่รับรู้ KV cache
Amazon SageMaker AI real-time endpoints now support KV cache aware routing
สรุปโดย AI
Amazon SageMaker AI ได้เพิ่มการกำหนดเส้นทางที่รับรู้ KV cache สำหรับ real-time endpoints ซึ่งใช้สถานะแคชที่รายงานโดยคอนเทนเนอร์ของโมเดลเพื่อส่งแต่ละคำขอไปยังอินสแตนซ์ที่มีแคชตรงกันยาวที่สุด พร้อมทั้งชั่งน้ำหนักว่าอินสแตนซ์นั้นมีภาระงานมากเพียงใด
แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com