Tới nội dung
Hugging Face Blog·· 1 ngày trướcĐiểm AI36

Vì sao công việc fine-tuning của bạn mất nhiều thời gian hơn so với con số FLOPs dự báo

Why your fine-tuning job takes longer than the FLOPs say

Tóm tắt bằng AI

Một mô hình hồi quy CatBoost được huấn luyện trên 272 lần chạy SFT thực tế trên GPU NVIDIA H200 dự đoán thời gian fine-tuning đầu-cuối với R² = 0.98 và MAE 1.71 h, so với R² = 0.31 và MAE 12.41 h của ước lượng dựa trên FLOPs tiêu chuẩn. Chỉ dùng các đặc trưng cấu hình trước khi điều phối, mô hình nắm bắt được nhịp đánh giá, I/O checkpoint và tải trên mỗi GPU mà các công thức toán học dạng đóng bỏ sót.

Nguồn:Hugging Face Blog · huggingface.co