AWS Machine Learning Blog· Dmitry Soldatkin·· 3 giờ trướcĐiểm AI58
Amazon SageMaker AI real-time endpoints bổ sung định tuyến nhận biết KV cache
Amazon SageMaker AI real-time endpoints now support KV cache aware routing
Tóm tắt bằng AI
Amazon SageMaker AI đã giới thiệu định tuyến nhận biết KV cache cho các real-time endpoint, sử dụng trạng thái cache do container mô hình báo cáo để gửi mỗi yêu cầu đến instance đang giữ kết quả khớp được cache lâu nhất, đồng thời cân nhắc mức độ bận của instance đó.
Nguồn:AWS Machine Learning Blog · aws.amazon.com