跳至正文
AWS Machine Learning Blog· Dmitry Soldatkin·· 3 小時前AI 評分58

Amazon SageMaker AI 即時端點新增 KV 快取感知路由

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

AI 導讀

Amazon SageMaker AI 為即時端點推出 KV 快取感知路由,此功能會利用模型容器回報的快取狀態,將每個請求送往持有最長快取匹配的執行個體,同時權衡該執行個體的忙碌程度。

來源:AWS Machine Learning Blog · aws.amazon.com