Tới nội dung
Sự việc nóngĐang diễn ra

Transformers bổ sung tính năng streaming chuyên gia MoE, chạy mô hình 180B trên Mac 32GB

1 bài viết1 nguồn đưa tinCập nhật 18 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Một nhà phát triển đã thêm tính năng streaming chuyên gia dựa trên SSD vào Hugging Face Transformers qua PR #50717, cho phép một mô hình mixture-of-experts cỡ 180B chạy trên MacBook M5 32 GB. Bản demo sử dụng Qwen3.8-Flash-Next với 121 GB chuyên gia FP8, giải mã ở tốc độ 13,9 tok/s — chậm hơn khoảng 6% so với 14,8 tok/s của Strata. Phương pháp này chỉ giữ các chuyên gia được định tuyến trong một nhóm vị trí thiết bị có giới hạn để grouped_mm chạy không đổi, lượng tử hóa chuyên gia xuống 3 bit (49 GB trên đĩa, 12 GiB được cache), và để bảng n-gram 51 GB trên đĩa. Hiệu năng không đồng đều: trên một A10G duy nhất với Qwen3.6-35B-A3B, Transformers + Accelerate đạt 0,16 tok/s, so với 82–88 tok/s của Strata và 63–64 tok/s của llama.cpp.

Tạo từ các bài viết · cập nhật 45 phút trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

18 tháng 11
  1. Hugging Face BlogTuyển chọn
    Transformers bổ sung MoE expert streaming, chạy mô hình 180B trên Mac 32GB trong phạm vi 6% so với Strata

    Một nhà phát triển đã thêm expert streaming dựa trên SSD vào Transformers qua PR #50717, chạy Qwen3.8-Flash-Next với 121 GB expert FP8 trên MacBook M5 32 GB ở tốc độ decode 13.9 tok/s, chậm hơn khoảng 6% so với 14.8 tok/s của Strata. Cách tiếp cận chỉ giữ các expert được định tuyến trong một pool slot thiết bị có giới hạn để grouped_mm chạy không đổi, lượng tử hóa expert xuống 3 bit (49 GB trên đĩa, 12 GiB được cache), và giữ bảng n-gram 51 GB trên đĩa. Benchmark trên một A10G với Qwen3.6-35B-A3B cho thấy Transformers + Accelerate đạt 0.16 tok/s so với 82-88 của Strata và 63-64 của llama.cpp.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.