SageMaker HyperPod 新增工作负载恢复与基础设施检查
热点事件持续更新
SageMaker HyperPod 新增工作负载恢复与基础设施检查
1 篇报道1 个报道来源20 小时前更新
先了解这件事
AI 综述
AWS 为 Amazon SageMaker HyperPod 新增了工作负载恢复功能并扩展了基础设施检查,旨在更早发现训练故障并提高训练有效吞吐量。新增功能包括 MultiNodeTrainingValidation,这是一项深度健康检查,会在单个实例上及跨实例训练一个小模型,以捕捉 NaN 或无穷大损失;HyperPod Kubernetes Resource Monitoring Agent,它会持续监控集群,并在作业失败时报告涉及的 pod 和节点;以及针对 Slurm 作业的无响应作业检测,用于发现停滞但不退出的作业。 可用性因工具而异。MultiNodeTrainingValidation 在实例预置时或按需运行。无响应作业检测作为代理在每个节点上与每个 Slurm 作业一起运行,AWS 表示该功能默认关闭。AWS 将这些功能定位为更早发现故障并提高有效吞吐量的手段;这是该公司声明的目标,而非实测结果。
AI 根据报道生成 · 20 小时前更新
最新进展11月19日 07:03
Amazon SageMaker HyperPod 新增工作负载恢复与扩展基础设施检查报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AWS Machine Learning BlogAmazon SageMaker HyperPod 新增工作负载恢复与扩展基础设施检查
Amazon SageMaker HyperPod 现提供工作负载恢复与扩展基础设施检查,以提升训练有效吞吐量。新增内容包括 MultiNodeTrainingValidation——一种深度健康检查,在实例上及跨实例训练一个小模型,以捕获 NaN 或无限损失;用于崩溃循环的设备插件和缺失 DaemonSet 的 HyperPod Kubernetes Resource Monitoring Agent;以及针对无退出即停滞的 Slurm 作业的挂起作业检测。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1011月19日 08:00
- 近 24 小时变化
- –
02.557.510
191920
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。