Hacker News · AI·· 2 小时前AI 评分60
DeepSeek 发布 DeepEP-Ascend,面向华为昇腾 NPU 的专家并行通信库
Training and Inference on Huawei Ascend NPUs
AI 导读
DeepSeek 发布了 DeepEP-Ascend,这是一个用于在华为昇腾 NPU 上训练和推理的开源通信库,为 MoE dispatch 和 combine 提供专家并行 all-to-all,支持 FP8 dispatch 和延迟 epilogue,并提供实验性的 PP、Bucket CP/DP 集合通信以及 Engram 远程内存访问。在搭载 CANN 9.2.0 的昇腾 950DT 上实测,dispatch 在 EP8 下达到 373–375 GB/s,在 EP128 下达到 313–320 GB/s,而 combine 从 345–347 GB/s 降至 272–278 GB/s。公开的 buffer API 与 NVIDIA 版 DeepEP 保持一致,作者指出更大的 EP 规模和 combine 仍在优化中。
来源:Hacker News · AI · github.com