Zyphra Research：專家耦合減少 MoE 預訓練通訊

Zyphra Research 顯示 MoE 路由具有高度結構性，同一層內被共同選中的專家彼此相關，且一個 token 的專家選擇能預測後續層的路由。透過相關專家放置與 token 重排來利用這一點，在 MI300X GPU 上的 Megatron-LM 實驗中，將全對全通訊時間最多縮短 2.63×，並將端到端訓練步進時間最多提升 1.41×，且不改變架構或路由決策。