跳到正文
Hugging Face Blog·· 1 天前AI 评分36

为什么你的微调任务比 FLOPs 所预示的更耗时

Why your fine-tuning job takes longer than the FLOPs say

AI 导读

一个在 NVIDIA H200 GPU 上基于 272 次生产 SFT 运行训练的 CatBoost 回归器,能以 R² = 0.98、MAE 1.71 h 预测端到端微调时间,而标准的基于 FLOP 的估计则为 R² = 0.31、MAE 12.41 h。仅使用调度前的配置特征,它就捕捉到了闭式数学所遗漏的评估节奏、检查点 I/O 和每 GPU 负载。

来源:Hugging Face Blog · huggingface.co