Zyphra Research: Ghép nối chuyên gia cắt giảm thông tin liên lạc khi tiền huấn luyện MoE

Zyphra Research chỉ ra rằng định tuyến MoE có cấu trúc cao, với các chuyên gia được chọn cùng nhau có tương quan trong một lớp và lựa chọn chuyên gia của một token dự đoán định tuyến lớp sau. Khai thác điều này thông qua bố trí chuyên gia tương quan và xáo trộn token giúp cắt giảm thời gian liên lạc all-to-all lên đến 2,63× và cải thiện thời gian bước huấn luyện end-to-end lên đến 1,41× trong các thí nghiệm Megatron-LM trên GPU MI300X, mà không thay đổi kiến trúc hay quyết định định tuyến.