跳到正文
AWS Machine Learning Blog· Dmitry Soldatkin·· 3 小时前AI 评分58

Amazon SageMaker AI 实时端点新增 KV 缓存感知路由

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

AI 导读

Amazon SageMaker AI 为实时端点引入 KV 缓存感知路由,该功能利用模型容器上报的缓存状态,将每个请求发送到持有最长缓存匹配的实例,同时权衡该实例的繁忙程度。

来源:AWS Machine Learning Blog · aws.amazon.com