Tới nội dung
AWS Machine Learning Blog· Dmitry Soldatkin·· 3 giờ trướcĐiểm AI58

Amazon SageMaker AI real-time endpoints bổ sung định tuyến nhận biết KV cache

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

Tóm tắt bằng AI

Amazon SageMaker AI đã giới thiệu định tuyến nhận biết KV cache cho các real-time endpoint, sử dụng trạng thái cache do container mô hình báo cáo để gửi mỗi yêu cầu đến instance đang giữ kết quả khớp được cache lâu nhất, đồng thời cân nhắc mức độ bận của instance đó.

Nguồn:AWS Machine Learning Blog · aws.amazon.com