SageMaker AI bổ sung định tuyến nhận biết KV cache cho các endpoint thời gian thực
Bắt đầu từ đây
Amazon SageMaker AI đã giới thiệu định tuyến nhận biết KV cache cho các endpoint thời gian thực. Chiến lược định tuyến sử dụng trạng thái cache do container mô hình báo cáo để gửi mỗi yêu cầu đến instance đang giữ kết quả khớp được cache lâu nhất, đồng thời cân nhắc mức độ bận rộn của instance đó. Tính năng này có sẵn miễn phí tại tất cả các Vùng thương mại AWS hỗ trợ suy luận thời gian thực của SageMaker AI, đối với các endpoint sử dụng container được hỗ trợ. SageMaker AI vận hành và quản lý chỉ mục cache, và khách hàng chỉ trả tiền cho các instance mà endpoint của họ sử dụng. Vì tính năng này cần có lựa chọn đích đến, nó chỉ hoạt động khi một endpoint có ít nhất hai instance, hoặc ít nhất hai bản sao của một thành phần suy luận.
Tạo từ các bài viết · cập nhật 3 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogAmazon SageMaker AI real-time endpoints bổ sung định tuyến nhận biết KV cache
Amazon SageMaker AI đã giới thiệu định tuyến nhận biết KV cache cho các real-time endpoint, sử dụng trạng thái cache do container mô hình báo cáo để gửi mỗi yêu cầu đến instance đang giữ kết quả khớp được cache lâu nhất, đồng thời cân nhắc mức độ bận của instance đó.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 9
- Đỉnh, trong khoảng so sánh được
- 1018 tháng 11 06:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.