Hugging Face Blog·· 1 วันที่แล้วคะแนน AI36
ทำไมงาน fine-tuning ของคุณใช้เวลานานกว่าที่ FLOPs บอก
Why your fine-tuning job takes longer than the FLOPs say
สรุปโดย AI
CatBoost regressor ที่ฝึกบนงาน SFT ในโปรดักชัน 272 งานบน GPU NVIDIA H200 ทำนายเวลาการ fine-tuning แบบ end-to-end ได้ด้วย R² = 0.98 และ MAE 1.71 ชม. เทียบกับ R² = 0.31 และ MAE 12.41 ชม. ของการประมาณค่าตาม FLOPs แบบมาตรฐาน โดยใช้เพียงคุณลักษณะของการตั้งค่าก่อนการ dispatch เท่านั้น มันจับความถี่ในการประเมิน, I/O ของ checkpoint และภาระต่อ GPU ที่คณิตศาสตร์แบบ closed-form มองข้ามไป
แหล่งข่าว:Hugging Face Blog · huggingface.co