Dharma-AI เผยตัวอย่างโมเดลที่ทำนายระยะเวลาของงาน fine-tuning
เริ่มตรงนี้
Dharma-AI เผยแพร่ตัวอย่างบนบล็อกของบทความที่กำลังจะออก ซึ่งอธิบายตัวถดถอย CatBoost ที่ทำนายเวลาของ fine-tuning แบบครบวงจรสำหรับโมเดลภาษาสร้างสรรค์ โมเดลนี้ฝึกบนงาน supervised fine-tuning (SFT) ในการใช้งานจริง 272 ครั้งบน GPU NVIDIA H200 และใช้เฉพาะคุณลักษณะของการตั้งค่าก่อนการส่งงานเท่านั้น รายงานผล R² = 0.98 และค่าความคลาดเคลื่อนสัมบูรณ์เฉลี่ย 1.71 ชั่วโมง เทียบกับ R² = 0.31 และ 12.41 ชั่วโมงของการประมาณการตาม FLOPs แบบมาตรฐาน ผู้เขียนระบุว่าโมเดลนี้จับจังหวะการประเมิน การ I/O ของ checkpoint และภาระต่อ GPU ซึ่งการคำนวณแบบสูตรปิดมองข้ามไป ผลลัพธ์มาพร้อมข้อจำกัดที่ระบุไว้ชัดเจน การศึกษาครอบคลุมเฉพาะ SFT ไม่รวม RLHF, DPO และ RLVR และทุกการใช้งานใช้ H200 ดังนั้น GPU ชนิดอื่นยังไม่ได้ทดสอบ ความคลาดเคลื่อนจะกว้างขึ้นสำหรับงานที่ยาวกว่า 60 ชั่วโมง บทความฉบับเต็มจะเผยแพร่บน arXiv
สร้างจากรายงาน · อัปเดต 1 วันที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hugging Face Blogทำไมงาน fine-tuning ของคุณใช้เวลานานกว่าที่ FLOPs บอก
CatBoost regressor ที่ฝึกบนงาน SFT ในโปรดักชัน 272 งานบน GPU NVIDIA H200 ทำนายเวลาการ fine-tuning แบบ end-to-end ได้ด้วย R² = 0.98 และ MAE 1.71 ชม. เทียบกับ R² = 0.31 และ MAE 12.41 ชม. ของการประมาณค่าตาม FLOPs แบบมาตรฐาน โดยใช้เพียงคุณลักษณะของการตั้งค่าก่อนการ dispatch เท่านั้น มันจับความถี่ในการประเมิน, I/O ของ checkpoint และภาระต่อ GPU ที่คณิตศาสตร์แบบ closed-form มองข้ามไป
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 5
- จุดสูงสุดในช่วงที่เทียบได้
- 1019 พฤศจิกายน 04:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู