Tới nội dung
AWS Machine Learning Blog· Apoorva Chandra·· 23 giờ trướcĐiểm AI38

Salesforce mở rộng phục vụ mô hình toàn cầu với định tuyến suy luận xuyên Vùng trong Amazon SageMaker AI

How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI

Tóm tắt bằng AI

Nhóm Agentforce Foundation của Salesforce đã áp dụng định tuyến suy luận xuyên Vùng trong Amazon SageMaker AI để phục vụ các mô hình nội bộ và mã nguồn mở trên hơn 30 Vùng toàn cầu và hàng trăm tài khoản AWS. Bộ định tuyến gửi mỗi yêu cầu đến một endpoint có thể phục vụ nó, chuyển lưu lượng khỏi các đích bị ảnh hưởng bởi lỗi 5xx, giới hạn tần suất và hết thời gian chờ, thường bắt đầu trong khoảng một phút. Salesforce đã tích hợp nó vào Internal Gateway sau bước kiểm tra lưu trú dữ liệu, nhờ đó các yêu cầu được gắn thẻ lưu trú vẫn được ghim vào endpoint trong Vùng của chúng.

Nguồn:AWS Machine Learning Blog · aws.amazon.com