跳至正文
AWS Machine Learning Blog· Dmitry Soldatkin·· 1 小時前AI 評分58

Amazon SageMaker AI 為端點與推論元件推出跨區域推論路由

Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI

AI 導讀

Amazon SageMaker AI 推出跨區域推論路由,這是一項新的推論路由器資源,讓應用程式在多个 AWS 區域與帳戶中的端點和推論元件之間,只需一條呼叫路徑。此路由器優先選擇自身所在區域的目的地,當本地目的地故障時將新請求轉往其他位置,僅在模型未執行時對即時請求重試一次,並在恢復後逐步恢復流量。此功能已在大多數商業 AWS 區域正式推出,但 me-south-1 與 me-central-1 除外,路由本身不額外收費;不支援回應串流,即時請求必須在大約一分鐘內完成。

來源:AWS Machine Learning Blog · aws.amazon.com