跳至正文
AWS Machine Learning Blog· Hazim Qudah·· 2 小時前AI 評分55

Amazon SageMaker AI 為推論端點新增延遲漂移、閒置 GPU 與錯失最佳化的預設監控

Amazon SageMaker AI now detects latency drift, idle GPUs, and missed optimizations on your inference endpoints

AI 導讀

Amazon SageMaker AI 現在會預設監控生成式 AI 推論端點,適用於使用 vLLM 服務容器與 GPU 執行個體的端點,並標示延遲漂移、GPU 使用率偏低、缺少推測解碼、服務容器過舊以及 GPU 核心未調校等情況。發現結果會以 AWS Health 通知送達,選取其中一項即可開啟 SageMaker Studio 中的代理式體驗,在獨立運算資源上針對回應時間、輸送量與每百萬權杖成本對替代方案進行基準測試。監控僅讀取延遲、GPU 使用率與服務組態,不產生 GPU 成本,且可透過 OPT_OUT_TRACKING 環境變數依端點選擇退出。

來源:AWS Machine Learning Blog · aws.amazon.com