Zyphra Research：专家耦合减少 MoE 预训练通信

Zyphra Research 表明 MoE 路由具有高度结构性：同一层内被共同选中的专家相互关联，且一个 token 的专家选择可预测后续层的路由。利用这一点，通过相关专家放置和 token 重排，在 MI300X GPU 上的 Megatron-LM 实验中，将全对全通信时间最多缩短 2.63 倍，端到端训练步时间最多提升 1.41 倍，且不改变架构或路由决策。