Zyphra Research: การจับคู่ผู้เชี่ยวชาญช่วยลดการสื่อสารในการฝึกโมเดล MoE ล่วงหน้า

Zyphra Research แสดงให้เห็นว่าเส้นทางการเลือกผู้เชี่ยวชาญของ MoE มีโครงสร้างชัดเจน โดยผู้เชี่ยวชาญที่ถูกเลือกพร้อมกันมีความสัมพันธ์กันภายในเลเยอร์เดียวกัน และการเลือกผู้เชี่ยวชาญของโทเคนหนึ่งสามารถทำนายเส้นทางการเลือกในเลเยอร์ถัดไปได้ การใช้ประโยชน์จากสิ่งนี้ผ่านการจัดวางผู้เชี่ยวชาญที่สัมพันธ์กันและการสลับโทเคนช่วยลดเวลาการสื่อสารแบบ all-to-all ได้สูงสุดถึง 2.63 เท่า และปรับปรุงเวลาต่อขั้นตอนการฝึกแบบ end-to-end ได้สูงสุดถึง 1.41 เท่าในการทดลองกับ Megatron-LM บน GPU MI300X โดยไม่เปลี่ยนสถาปัตยกรรมหรือการตัดสินใจเลือกเส้นทาง