AWS Machine Learning Blog· Dmitry Soldatkin·· 3 小時前AI 評分58
Amazon SageMaker AI 即時端點新增 KV 快取感知路由
Amazon SageMaker AI real-time endpoints now support KV cache aware routing
AI 導讀
Amazon SageMaker AI 為即時端點推出 KV 快取感知路由,此功能會利用模型容器回報的快取狀態,將每個請求送往持有最長快取匹配的執行個體,同時權衡該執行個體的忙碌程度。
來源:AWS Machine Learning Blog · aws.amazon.com