Amazon SageMaker AI ra mắt định tuyến suy luận xuyên Vùng cho endpoint và thành phần suy luận
Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI
Amazon SageMaker AI đã giới thiệu định tuyến suy luận xuyên Vùng, một tài nguyên bộ định tuyến suy luận mới cho phép ứng dụng có một đường gọi duy nhất xuyên các endpoint và thành phần suy luận ở nhiều Vùng và tài khoản AWS. Bộ định tuyến ưu tiên các đích trong cùng Vùng của nó, chuyển các yêu cầu mới sang nơi khác khi các đích cục bộ gặp sự cố, chỉ thử lại một yêu cầu thời gian thực đúng một lần khi mô hình chưa chạy, và trả lưu lượng về dần dần sau khi phục hồi. Tính năng này được cung cấp rộng rãi ở hầu hết các Vùng thương mại của AWS trừ me-south-1 và me-central-1, không tính thêm phí cho bản thân việc định tuyến; không hỗ trợ truyền phát phản hồi và các yêu cầu thời gian thực phải hoàn tất trong khoảng một phút.
Nguồn:AWS Machine Learning Blog · aws.amazon.com