跳至正文
熱點事件觀察中

Dharma-AI 預覽可預測微調作業時長的模型

1 篇報導1 個報導來源1 天前更新

先了解這件事

AI 綜述

Dharma-AI 在部落格發文預覽一篇即將發表的論文,文中描述一個 CatBoost 迴歸器,可預測生成式語言模型的端到端微調時間。該模型以 272 次在 NVIDIA H200 GPU 上執行的正式監督式微調(SFT)作業訓練而成,且僅使用派送前的設定特徵,據稱可達 R² = 0.98、平均絕對誤差 1.71 小時,相較之下,標準的基於 FLOP 的估計為 R² = 0.31、12.41 小時。作者表示,此模型能捕捉到閉式數學計算所遺漏的評估節奏、檢查點 I/O 與各 GPU 負載。 這些結果附有明確限制:本研究僅涵蓋 SFT,不含 RLHF、DPO 與 RLVR,且每次執行都使用 H200,因此其他 GPU 類型尚未測試。作業時長超過 60 小時者,誤差會擴大。完整論文將發表於 arXiv。

AI 依報導生成 · 1 天前更新

報導時間線

沿著報導,了解事件的不同側面。

11月19日
  1. Hugging Face Blog
    為什麼你的微調工作比 FLOPs 所說的更久

    一個在 NVIDIA H200 GPU 上以 272 次生產環境 SFT 執行訓練的 CatBoost 迴歸器,能以 R² = 0.98 和 MAE 1.71 h 預測端到端微調時間,而標準基於 FLOP 的估計則為 R² = 0.31 和 MAE 12.41 h。它僅使用調度前的配置特徵,就捕捉到閉式數學所遺漏的評估節奏、檢查點 I/O 和每 GPU 負載。

本事件熱度走勢

可比範圍當前
5
可比範圍峰值
1011月19日 04:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。