Hacker News · AI·· 2 小時前AI 評分60
DeepSeek 發布 DeepEP-Ascend,專為華為昇騰 NPU 設計的專家平行通訊函式庫
Training and Inference on Huawei Ascend NPUs
AI 導讀
DeepSeek 發布 DeepEP-Ascend,這是一套用於在華為昇騰 NPU 上訓練與推論的開源通訊函式庫,提供專家平行 all-to-all,用於 MoE dispatch 與 combine,並支援 FP8 dispatch 與延遲 epilogue,另含實驗性 PP、Bucket CP/DP 集合通訊與 Engram 遠端記憶體存取。在搭載 CANN 9.2.0 的昇騰 950DT 上實測,dispatch 在 EP8 達到 373–375 GB/s、在 EP128 達到 313–320 GB/s,而 combine 則從 345–347 GB/s 降至 272–278 GB/s。公開的 buffer API 與 NVIDIA 版 DeepEP 一致,作者指出更大的 EP 規模與 combine 仍在最佳化中。
來源:Hacker News · AI · github.com