跳到正文
AWS Machine Learning Blog· Roy Allela·· 20 小时前AI 评分36

Amazon SageMaker HyperPod 新增工作负载恢复与扩展基础设施检查

Introducing workload recovery and expanded infrastructure checks on Amazon SageMaker HyperPod

AI 导读

Amazon SageMaker HyperPod 现提供工作负载恢复与扩展基础设施检查,以提升训练有效吞吐量。新增内容包括 MultiNodeTrainingValidation——一种深度健康检查,在实例上及跨实例训练一个小模型,以捕获 NaN 或无限损失;用于崩溃循环的设备插件和缺失 DaemonSet 的 HyperPod Kubernetes Resource Monitoring Agent;以及针对无退出即停滞的 Slurm 作业的挂起作业检测。

来源:AWS Machine Learning Blog · aws.amazon.com