Tới nội dung
Hacker News · AI·· 2 giờ trướcĐiểm AI60

DeepSeek phát hành DeepEP-Ascend, thư viện truyền thông expert-parallel cho NPU Huawei Ascend

Training and Inference on Huawei Ascend NPUs

Tóm tắt bằng AI

DeepSeek đã phát hành DeepEP-Ascend, một thư viện truyền thông mã nguồn mở dùng cho huấn luyện và suy luận trên NPU Huawei Ascend, cung cấp all-to-all expert-parallel cho MoE dispatch và combine với FP8 dispatch và deferred epilogue, cùng với PP thử nghiệm, các collective Bucket CP/DP và truy cập bộ nhớ từ xa Engram. Đo trên Ascend 950DT với CANN 9.2.0, dispatch đạt 373–375 GB/s ở EP8 và 313–320 GB/s ở EP128, trong khi combine giảm từ 345–347 GB/s xuống 272–278 GB/s. Các API buffer công khai tương thích với phiên bản NVIDIA của DeepEP, và các tác giả lưu ý rằng kích thước EP lớn hơn và combine vẫn đang được tối ưu hóa.

Nguồn:Hacker News · AI · github.com