跳至正文
熱點事件持續更新

SageMaker AI 為推論端點新增預設漂移監控

1 篇報導1 個報導來源2 小時前更新

先了解這件事

AI 綜述

Amazon SageMaker AI 現在預設監控生成式 AI 推論端點,會標示延遲漂移、GPU 使用率偏低、缺少推測解碼、服務容器過舊,以及 GPU 核心未經調校等情況。此監控適用於在 GPU 執行個體上使用 vLLM 服務容器的端點,且無需任何設定;使用者可透過在模型容器上設定 OPT_OUT_TRACKING 環境變數,逐一選擇退出各端點的監控。 監控結果會以 AWS Health 通知的形式送達。使用者可從通知中開啟 SageMaker Studio 的代理式體驗,在獨立運算資源上對替代方案進行基準測試,比較回應時間、輸送量與每百萬權杖成本。根據 AWS 的說法,監控本身不會產生 GPU 費用,而基準測試則依標準 SageMaker AI 費率計費,或從既有的 ML 預留資源中扣抵。

AI 依報導生成 · 2 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月20日
  1. AWS Machine Learning Blog
    Amazon SageMaker AI 為推論端點新增延遲漂移、閒置 GPU 與錯失最佳化的預設監控

    Amazon SageMaker AI 現在會預設監控生成式 AI 推論端點,適用於使用 vLLM 服務容器與 GPU 執行個體的端點,並標示延遲漂移、GPU 使用率偏低、缺少推測解碼、服務容器過舊以及 GPU 核心未調校等情況。發現結果會以 AWS Health 通知送達,選取其中一項即可開啟 SageMaker Studio 中的代理式體驗,在獨立運算資源上針對回應時間、輸送量與每百萬權杖成本對替代方案進行基準測試。監控僅讀取延遲、GPU 使用率與服務組態,不產生 GPU 成本,且可透過 OPT_OUT_TRACKING 環境變數依端點選擇退出。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。