AWS Machine Learning Blog· Hazim Qudah·· 2 小时前AI 评分55
Amazon SageMaker AI 为推理端点的延迟漂移、GPU 闲置和错过的优化新增默认监控
Amazon SageMaker AI now detects latency drift, idle GPUs, and missed optimizations on your inference endpoints
AI 导读
Amazon SageMaker AI 现在对使用 vLLM 服务容器和 GPU 实例的端点默认监控生成式 AI 推理端点,标记延迟漂移、GPU 利用率不足、缺少投机解码、服务容器过时以及 GPU 内核未调优等问题。发现结果以 AWS Health 通知的形式送达,选中其中一项会在 SageMaker Studio 中打开智能体体验,以便在独立计算资源上针对响应时间、吞吐量和每百万 token 成本对备选方案进行基准测试。监控仅读取延迟、GPU 利用率和服务配置,不产生 GPU 成本,并可通过 OPT_OUT_TRACKING 环境变量按端点选择退出。
来源:AWS Machine Learning Blog · aws.amazon.com