Transformers bổ sung MoE expert streaming, chạy mô hình 180B trên Mac 32GB trong phạm vi 6% so với Strata
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
Một nhà phát triển đã thêm expert streaming dựa trên SSD vào Transformers qua PR #50717, chạy Qwen3.8-Flash-Next với 121 GB expert FP8 trên MacBook M5 32 GB ở tốc độ decode 13.9 tok/s, chậm hơn khoảng 6% so với 14.8 tok/s của Strata. Cách tiếp cận chỉ giữ các expert được định tuyến trong một pool slot thiết bị có giới hạn để grouped_mm chạy không đổi, lượng tử hóa expert xuống 3 bit (49 GB trên đĩa, 12 GiB được cache), và giữ bảng n-gram 51 GB trên đĩa. Benchmark trên một A10G với Qwen3.6-35B-A3B cho thấy Transformers + Accelerate đạt 0.16 tok/s so với 82-88 của Strata và 63-64 của llama.cpp.
Một ghi chép thực nghiệm về việc thêm SSD expert streaming vào Transformers, cho thấy cách một mô hình MoE 180B chạy trên Mac 32GB và phần overhead đồng bộ host còn lại nằm ở đâu.
Nguồn:Hugging Face Blog · huggingface.co