跳至正文
Hugging Face Blog·· 18 小時前精選AI 評分60

Transformers 加入 MoE 專家串流,在 32GB Mac 上執行 180B 模型,與 Strata 差距僅 6%

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 導讀

一位開發者透過 PR #50717 為 Transformers 加入基於 SSD 的專家串流,在 32GB MacBook M5 上執行 Qwen3.8-Flash-Next(含 121 GB 的 FP8 專家),解碼速度達 13.9 tok/s,約落後 Strata 的 14.8 tok/s 6%。此做法只在有界的裝置槽池中保留被路由到的專家,使 grouped_mm 無需改動即可執行;專家量化為 3 位元(磁碟上 49 GB,快取 12 GiB),並將 51 GB 的 n-gram 表留在磁碟上。在單張 A10G 上以 Qwen3.6-35B-A3B 進行的基準測試顯示,Transformers + Accelerate 為 0.16 tok/s,而 Strata 為 82-88,llama.cpp 為 63-64。

推薦理由

這是一份為 Transformers 加入 SSD 專家串流的實作記錄,展示 180B MoE 模型如何在 32GB Mac 上執行,以及剩餘的主機同步開銷位於何處。

來源:Hugging Face Blog · huggingface.co