跳至正文
AWS Machine Learning Blog· Apoorva Chandra·· 23 小時前AI 評分38

Salesforce 透過 Amazon SageMaker AI 的跨區域推論路由擴展全球模型服務

How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI

AI 導讀

Salesforce 的 Agentforce Foundation 團隊採用 Amazon SageMaker AI 的跨區域推論路由,在 30 多個全球區域和數百個 AWS 帳戶中提供自研與開源模型的服務。路由器會將每個請求傳送到能夠處理該請求的端點,把流量從遭遇 5xx 錯誤、節流和逾時的目標移開,通常約在一分鐘內開始。Salesforce 在資料駐留檢查之後將其整合到內部閘道中,因此帶有駐留標籤的請求會固定留在其區域內的端點。

來源:AWS Machine Learning Blog · aws.amazon.com