跳至正文
熱點事件持續更新

AWS 將跨區域推論路由引入 SageMaker AI

2 篇報導1 個報導來源55 分鐘前更新

先了解這件事

AI 綜述

AWS 在 Amazon SageMaker AI 中推出跨區域推論路由,作為新的推論路由器資源,讓應用程式在多个 AWS 區域和帳戶中的端點與推論元件之間擁有單一的呼叫路徑。此路由器優先選擇自身所在區域的目的地,當本地目的地故障時將新請求轉移到其他位置,僅在模型未執行時對即時請求重試一次,並在恢復後逐步恢復流量。 AWS 表示,該功能在大多數商業區域(me-south-1 和 me-central-1 除外)正式可用,支援即時和非同步推論,路由本身不額外收費;客戶仍需為處理請求的端點和推論元件支付標準 SageMaker AI 費用,並為路由器指標支付標準 CloudWatch 費用。不支援回應串流,即時請求必須在大約一分鐘內完成。客戶可以在接收端點的 CrossRegionTrafficConfig 中,以每實例請求速率和遠端流量可使用的端點容量最大佔比來限制遠端流量;本地流量不計入該限制。 Salesforce 的 Agentforce Foundation 團隊表示,他們採用該路由在 30 多個區域和數百個 AWS 帳戶中服務內部模型和開源模型,並將其置於資料駐留檢查之後的 Internal Gateway 中,使帶有駐留標籤的請求保持固定在其區域內端點。

AI 依報導生成 · 46 分鐘前更新

報導時間線

沿著報導,了解事件的不同側面。

11月20日
  1. AWS Machine Learning Blog
    Amazon SageMaker AI 為端點與推論元件推出跨區域推論路由

    Amazon SageMaker AI 推出跨區域推論路由,這是一項新的推論路由器資源,讓應用程式在多个 AWS 區域與帳戶中的端點和推論元件之間,只需一條呼叫路徑。此路由器優先選擇自身所在區域的目的地,當本地目的地故障時將新請求轉往其他位置,僅在模型未執行時對即時請求重試一次,並在恢復後逐步恢復流量。此功能已在大多數商業 AWS 區域正式推出,但 me-south-1 與 me-central-1 除外,路由本身不額外收費;不支援回應串流,即時請求必須在大約一分鐘內完成。

11月19日
  1. AWS Machine Learning Blog
    Salesforce 透過 Amazon SageMaker AI 的跨區域推論路由擴展全球模型服務

    Salesforce 的 Agentforce Foundation 團隊採用 Amazon SageMaker AI 的跨區域推論路由,在 30 多個全球區域和數百個 AWS 帳戶中提供自研與開源模型的服務。路由器會將每個請求傳送到能夠處理該請求的端點,把流量從遭遇 5xx 錯誤、節流和逾時的目標移開,通常約在一分鐘內開始。Salesforce 在資料駐留檢查之後將其整合到內部閘道中,因此帶有駐留標籤的請求會固定留在其區域內的端點。

本事件熱度走勢

可比範圍當前
10
可比範圍峰值
1011月20日 03:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。