Hugging Face Blog·· 1 ngày trướcĐiểm AI36
Vì sao công việc fine-tuning của bạn mất nhiều thời gian hơn so với con số FLOPs dự báo
Why your fine-tuning job takes longer than the FLOPs say
Tóm tắt bằng AI
Một mô hình hồi quy CatBoost được huấn luyện trên 272 lần chạy SFT thực tế trên GPU NVIDIA H200 dự đoán thời gian fine-tuning đầu-cuối với R² = 0.98 và MAE 1.71 h, so với R² = 0.31 và MAE 12.41 h của ước lượng dựa trên FLOPs tiêu chuẩn. Chỉ dùng các đặc trưng cấu hình trước khi điều phối, mô hình nắm bắt được nhịp đánh giá, I/O checkpoint và tải trên mỗi GPU mà các công thức toán học dạng đóng bỏ sót.
Nguồn:Hugging Face Blog · huggingface.co