HOPE：混合專家語言模型中的高階專家剪枝

研究人員提出 HOPE，一種針對混合專家語言模型的二階專家剪枝方法，該方法考量共同激活專家之間的成對交互作用，而非獨立地為每個專家評分。在 50% 剪枝率下，HOPE 取得所有方法中最佳的平均排名，在代理式編碼任務上相較於次佳的剪枝方法最高提升 +6.1%。此研究針對 Qwen3.5-122B 等模型的記憶體瓶頸，其中專家 MLP 佔據約 250 GB 足跡的 95%。