SageMaker AI 為即時端點新增 KV 快取感知路由
熱點事件持續更新
SageMaker AI 為即時端點新增 KV 快取感知路由
1 篇報導1 個報導來源3 小時前更新
先了解這件事
AI 綜述
Amazon SageMaker AI 為即時端點推出 KV 快取感知路由。此路由策略會利用模型容器回報的快取狀態,將每個請求送往持有最長快取匹配的執行個體,同時也權衡該執行個體的忙碌程度。 此功能不額外收費,適用於所有支援 SageMaker AI 即時推論的商業 AWS 區域,且端點須使用支援的容器。SageMaker AI 負責執行與管理快取索引,客戶只需為端點使用的執行個體付費。 由於此功能需要有多個目的地可選,因此僅在端點至少擁有兩個執行個體,或至少擁有兩份推論元件複本時才會啟用。
AI 依報導生成 · 3 小時前更新
最新進展11月18日 05:11
Amazon SageMaker AI 即時端點新增 KV 快取感知路由報導時間線
沿著報導,了解事件的不同側面。
11月18日
- AWS Machine Learning BlogAmazon SageMaker AI 即時端點新增 KV 快取感知路由
Amazon SageMaker AI 為即時端點推出 KV 快取感知路由,此功能會利用模型容器回報的快取狀態,將每個請求送往持有最長快取匹配的執行個體,同時權衡該執行個體的忙碌程度。
本事件熱度走勢
- 可比範圍當前
- 9
- 可比範圍峰值
- 1011月18日 06:00
- 近 24 小時變化
- –
02.557.510
06:0007:0008:00
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。