跳至正文
熱點事件持續更新

SageMaker AI 為即時端點新增 KV 快取感知路由

1 篇報導1 個報導來源3 小時前更新

先了解這件事

AI 綜述

Amazon SageMaker AI 為即時端點推出 KV 快取感知路由。此路由策略會利用模型容器回報的快取狀態,將每個請求送往持有最長快取匹配的執行個體,同時也權衡該執行個體的忙碌程度。 此功能不額外收費,適用於所有支援 SageMaker AI 即時推論的商業 AWS 區域,且端點須使用支援的容器。SageMaker AI 負責執行與管理快取索引,客戶只需為端點使用的執行個體付費。 由於此功能需要有多個目的地可選,因此僅在端點至少擁有兩個執行個體,或至少擁有兩份推論元件複本時才會啟用。

AI 依報導生成 · 3 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月18日
  1. AWS Machine Learning Blog
    Amazon SageMaker AI 即時端點新增 KV 快取感知路由

    Amazon SageMaker AI 為即時端點推出 KV 快取感知路由,此功能會利用模型容器回報的快取狀態,將每個請求送往持有最長快取匹配的執行個體,同時權衡該執行個體的忙碌程度。

本事件熱度走勢

可比範圍當前
9
可比範圍峰值
1011月18日 06:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。