Hugging Face Blog·· 1 天前AI 評分36
為什麼你的微調工作比 FLOPs 所說的更久
Why your fine-tuning job takes longer than the FLOPs say
AI 導讀
一個在 NVIDIA H200 GPU 上以 272 次生產環境 SFT 執行訓練的 CatBoost 迴歸器,能以 R² = 0.98 和 MAE 1.71 h 預測端到端微調時間,而標準基於 FLOP 的估計則為 R² = 0.31 和 MAE 12.41 h。它僅使用調度前的配置特徵,就捕捉到閉式數學所遺漏的評估節奏、檢查點 I/O 和每 GPU 負載。
來源:Hugging Face Blog · huggingface.co