跳到正文
热点事件观察中

Dharma-AI 预告了一款可预测微调任务时长的模型

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Dharma-AI 在博客中预告了一篇即将发布的论文,介绍了一个 CatBoost 回归器,用于预测生成式语言模型的端到端微调时间。该模型基于 NVIDIA H200 GPU 上 272 次生产环境监督微调(SFT)运行进行训练,且仅使用调度前的配置特征,报告 R² = 0.98、平均绝对误差 1.71 小时,而标准的基于 FLOP 的估算方法为 R² = 0.31、12.41 小时。作者表示,该模型捕捉到了闭式数学计算所遗漏的评估节奏、检查点 I/O 和每 GPU 负载。 这些结果附有明确的局限:该研究仅覆盖 SFT,不包括 RLHF、DPO 和 RLVR,且所有运行均使用 H200,因此其他 GPU 类型未经测试。对于超过 60 小时的任务,误差会扩大。完整论文将发表于 arXiv。

AI 根据报道生成 · 1 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. Hugging Face Blog
    为什么你的微调任务比 FLOPs 所预示的更耗时

    一个在 NVIDIA H200 GPU 上基于 272 次生产 SFT 运行训练的 CatBoost 回归器,能以 R² = 0.98、MAE 1.71 h 预测端到端微调时间,而标准的基于 FLOP 的估计则为 R² = 0.31、MAE 12.41 h。仅使用调度前的配置特征,它就捕捉到了闭式数学所遗漏的评估节奏、检查点 I/O 和每 GPU 负载。

本事件热度走势

可比范围当前
5
可比范围峰值
1011月19日 04:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。