HOPE：混合专家语言模型中专家的高阶剪枝

研究人员提出 HOPE，一种针对混合专家语言模型的二阶专家剪枝方法，该方法考虑共同激活专家之间的成对交互，而非独立地对每个专家评分。在 50% 剪枝率下，HOPE 取得了所有方法中最佳的平均排名，在智能体编程任务上相比次优剪枝方法最高提升 +6.1%。该工作针对 Qwen3.5-122B 等模型的内存瓶颈，其中专家 MLP 占据了约 250 GB 占用空间的 95%。