Dharma-AI 預覽可預測微調作業時長的模型
熱點事件觀察中
Dharma-AI 預覽可預測微調作業時長的模型
1 篇報導1 個報導來源1 天前更新
先了解這件事
AI 綜述
Dharma-AI 在部落格發文預覽一篇即將發表的論文,文中描述一個 CatBoost 迴歸器,可預測生成式語言模型的端到端微調時間。該模型以 272 次在 NVIDIA H200 GPU 上執行的正式監督式微調(SFT)作業訓練而成,且僅使用派送前的設定特徵,據稱可達 R² = 0.98、平均絕對誤差 1.71 小時,相較之下,標準的基於 FLOP 的估計為 R² = 0.31、12.41 小時。作者表示,此模型能捕捉到閉式數學計算所遺漏的評估節奏、檢查點 I/O 與各 GPU 負載。 這些結果附有明確限制:本研究僅涵蓋 SFT,不含 RLHF、DPO 與 RLVR,且每次執行都使用 H200,因此其他 GPU 類型尚未測試。作業時長超過 60 小時者,誤差會擴大。完整論文將發表於 arXiv。
AI 依報導生成 · 1 天前更新
最新進展11月19日 02:53
為什麼你的微調工作比 FLOPs 所說的更久報導時間線
沿著報導,了解事件的不同側面。
11月19日
- Hugging Face Blog為什麼你的微調工作比 FLOPs 所說的更久
一個在 NVIDIA H200 GPU 上以 272 次生產環境 SFT 執行訓練的 CatBoost 迴歸器,能以 R² = 0.98 和 MAE 1.71 h 預測端到端微調時間,而標準基於 FLOP 的估計則為 R² = 0.31 和 MAE 12.41 h。它僅使用調度前的配置特徵,就捕捉到閉式數學所遺漏的評估節奏、檢查點 I/O 和每 GPU 負載。
本事件熱度走勢
- 可比範圍當前
- 5
- 可比範圍峰值
- 1011月19日 04:00
- 近 24 小時變化
- –
02.557.510
06:0012:0018:0011月20日
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。