跳到正文
热点事件持续更新

SageMaker HyperPod 新增工作负载恢复与基础设施检查

1 篇报道1 个报道来源20 小时前更新

先了解这件事

AI 综述

AWS 为 Amazon SageMaker HyperPod 新增了工作负载恢复功能并扩展了基础设施检查,旨在更早发现训练故障并提高训练有效吞吐量。新增功能包括 MultiNodeTrainingValidation,这是一项深度健康检查,会在单个实例上及跨实例训练一个小模型,以捕捉 NaN 或无穷大损失;HyperPod Kubernetes Resource Monitoring Agent,它会持续监控集群,并在作业失败时报告涉及的 pod 和节点;以及针对 Slurm 作业的无响应作业检测,用于发现停滞但不退出的作业。 可用性因工具而异。MultiNodeTrainingValidation 在实例预置时或按需运行。无响应作业检测作为代理在每个节点上与每个 Slurm 作业一起运行,AWS 表示该功能默认关闭。AWS 将这些功能定位为更早发现故障并提高有效吞吐量的手段;这是该公司声明的目标,而非实测结果。

AI 根据报道生成 · 20 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPod 新增工作负载恢复与扩展基础设施检查

    Amazon SageMaker HyperPod 现提供工作负载恢复与扩展基础设施检查,以提升训练有效吞吐量。新增内容包括 MultiNodeTrainingValidation——一种深度健康检查,在实例上及跨实例训练一个小模型,以捕获 NaN 或无限损失;用于崩溃循环的设备插件和缺失 DaemonSet 的 HyperPod Kubernetes Resource Monitoring Agent;以及针对无退出即停滞的 Slurm 作业的挂起作业检测。

本事件热度走势

可比范围当前
6
可比范围峰值
1011月19日 08:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。