ข้ามไปที่เนื้อหา
Hugging Face Blog·· 1 วันที่แล้วคะแนน AI36

ทำไมงาน fine-tuning ของคุณใช้เวลานานกว่าที่ FLOPs บอก

Why your fine-tuning job takes longer than the FLOPs say

สรุปโดย AI

CatBoost regressor ที่ฝึกบนงาน SFT ในโปรดักชัน 272 งานบน GPU NVIDIA H200 ทำนายเวลาการ fine-tuning แบบ end-to-end ได้ด้วย R² = 0.98 และ MAE 1.71 ชม. เทียบกับ R² = 0.31 และ MAE 12.41 ชม. ของการประมาณค่าตาม FLOPs แบบมาตรฐาน โดยใช้เพียงคุณลักษณะของการตั้งค่าก่อนการ dispatch เท่านั้น มันจับความถี่ในการประเมิน, I/O ของ checkpoint และภาระต่อ GPU ที่คณิตศาสตร์แบบ closed-form มองข้ามไป

แหล่งข่าว:Hugging Face Blog · huggingface.co