Dharma-AI 预告了一款可预测微调任务时长的模型
热点事件观察中
Dharma-AI 预告了一款可预测微调任务时长的模型
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Dharma-AI 在博客中预告了一篇即将发布的论文,介绍了一个 CatBoost 回归器,用于预测生成式语言模型的端到端微调时间。该模型基于 NVIDIA H200 GPU 上 272 次生产环境监督微调(SFT)运行进行训练,且仅使用调度前的配置特征,报告 R² = 0.98、平均绝对误差 1.71 小时,而标准的基于 FLOP 的估算方法为 R² = 0.31、12.41 小时。作者表示,该模型捕捉到了闭式数学计算所遗漏的评估节奏、检查点 I/O 和每 GPU 负载。 这些结果附有明确的局限:该研究仅覆盖 SFT,不包括 RLHF、DPO 和 RLVR,且所有运行均使用 H200,因此其他 GPU 类型未经测试。对于超过 60 小时的任务,误差会扩大。完整论文将发表于 arXiv。
AI 根据报道生成 · 1 天前更新
最新进展11月19日 02:53
为什么你的微调任务比 FLOPs 所预示的更耗时报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- Hugging Face Blog为什么你的微调任务比 FLOPs 所预示的更耗时
一个在 NVIDIA H200 GPU 上基于 272 次生产 SFT 运行训练的 CatBoost 回归器,能以 R² = 0.98、MAE 1.71 h 预测端到端微调时间,而标准的基于 FLOP 的估计则为 R² = 0.31、MAE 12.41 h。仅使用调度前的配置特征,它就捕捉到了闭式数学所遗漏的评估节奏、检查点 I/O 和每 GPU 负载。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 1011月19日 04:00
- 近 24 小时变化
- –
02.557.510
19191920
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。