SageMaker AI 為推論端點新增預設漂移監控
熱點事件持續更新
SageMaker AI 為推論端點新增預設漂移監控
1 篇報導1 個報導來源2 小時前更新
先了解這件事
AI 綜述
Amazon SageMaker AI 現在預設監控生成式 AI 推論端點,會標示延遲漂移、GPU 使用率偏低、缺少推測解碼、服務容器過舊,以及 GPU 核心未經調校等情況。此監控適用於在 GPU 執行個體上使用 vLLM 服務容器的端點,且無需任何設定;使用者可透過在模型容器上設定 OPT_OUT_TRACKING 環境變數,逐一選擇退出各端點的監控。 監控結果會以 AWS Health 通知的形式送達。使用者可從通知中開啟 SageMaker Studio 的代理式體驗,在獨立運算資源上對替代方案進行基準測試,比較回應時間、輸送量與每百萬權杖成本。根據 AWS 的說法,監控本身不會產生 GPU 費用,而基準測試則依標準 SageMaker AI 費率計費,或從既有的 ML 預留資源中扣抵。
AI 依報導生成 · 2 小時前更新
最新進展11月20日 05:28
Amazon SageMaker AI 為推論端點新增延遲漂移、閒置 GPU 與錯失最佳化的預設監控報導時間線
沿著報導,了解事件的不同側面。
11月20日
- AWS Machine Learning BlogAmazon SageMaker AI 為推論端點新增延遲漂移、閒置 GPU 與錯失最佳化的預設監控
Amazon SageMaker AI 現在會預設監控生成式 AI 推論端點,適用於使用 vLLM 服務容器與 GPU 執行個體的端點,並標示延遲漂移、GPU 使用率偏低、缺少推測解碼、服務容器過舊以及 GPU 核心未調校等情況。發現結果會以 AWS Health 通知送達,選取其中一項即可開啟 SageMaker Studio 中的代理式體驗,在獨立運算資源上針對回應時間、輸送量與每百萬權杖成本對替代方案進行基準測試。監控僅讀取延遲、GPU 使用率與服務組態,不產生 GPU 成本,且可透過 OPT_OUT_TRACKING 環境變數依端點選擇退出。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。