SageMaker AI 为推理端点新增默认漂移监控
热点事件持续更新
SageMaker AI 为推理端点新增默认漂移监控
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Amazon SageMaker AI 现在默认监控生成式 AI 推理端点,标记延迟漂移、GPU 利用率不足、缺少投机解码、服务容器过时以及 GPU 内核未调优等问题。该监控适用于在 GPU 实例上使用 vLLM 服务容器的端点,无需任何设置;用户可通过在模型容器上设置 OPT_OUT_TRACKING 环境变量,按端点选择退出。 监控结果以 AWS Health 通知的形式送达。用户可从通知中打开 SageMaker Studio 中的智能体体验,在独立计算资源上针对响应时间、吞吐量和每百万 token 成本对备选方案进行基准测试。据 AWS 称,监控本身不产生 GPU 费用,而基准测试按标准 SageMaker AI 费率计费,或从现有的 ML 预留中扣除。
AI 根据报道生成 · 2 小时前更新
最新进展11月20日 05:28
Amazon SageMaker AI 为推理端点的延迟漂移、GPU 闲置和错过的优化新增默认监控报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AWS Machine Learning BlogAmazon SageMaker AI 为推理端点的延迟漂移、GPU 闲置和错过的优化新增默认监控
Amazon SageMaker AI 现在对使用 vLLM 服务容器和 GPU 实例的端点默认监控生成式 AI 推理端点,标记延迟漂移、GPU 利用率不足、缺少投机解码、服务容器过时以及 GPU 内核未调优等问题。发现结果以 AWS Health 通知的形式送达,选中其中一项会在 SageMaker Studio 中打开智能体体验,以便在独立计算资源上针对响应时间、吞吐量和每百万 token 成本对备选方案进行基准测试。监控仅读取延迟、GPU 利用率和服务配置,不产生 GPU 成本,并可通过 OPT_OUT_TRACKING 环境变量按端点选择退出。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。