Transformers 新增 MoE 專家串流功能,可在 32GB Mac 上執行 180B 模型
先了解這件事
一名開發者透過 PR #50717 為 Hugging Face Transformers 加入基於 SSD 的專家串流功能,讓 180B 級別的混合專家模型得以在 32 GB 的 MacBook M5 上執行。此示範使用 Qwen3.8-Flash-Next,搭配 121 GB 的 FP8 專家,解碼速度為 13.9 tok/s——約落後 Strata 的 14.8 tok/s 達 6%。 該方法僅將被路由到的專家保留在裝置端有界的槽位池中,使 grouped_mm 無需改動即可執行;並將專家量化至 3 位元(磁碟上 49 GB,快取 12 GiB),同時把 51 GB 的 n-gram 表留在磁碟上。 效能表現並不平均:在單張 A10G 上搭配 Qwen3.6-35B-A3B,Transformers + Accelerate 僅達到 0.16 tok/s,而 Strata 為 82–88 tok/s、llama.cpp 為 63–64 tok/s。
AI 依報導生成 · 45 分鐘前更新
報導時間線
沿著報導,了解事件的不同側面。
- Hugging Face Blog精選Transformers 加入 MoE 專家串流,在 32GB Mac 上執行 180B 模型,與 Strata 差距僅 6%
一位開發者透過 PR #50717 為 Transformers 加入基於 SSD 的專家串流,在 32GB MacBook M5 上執行 Qwen3.8-Flash-Next(含 121 GB 的 FP8 專家),解碼速度達 13.9 tok/s,約落後 Strata 的 14.8 tok/s 6%。此做法只在有界的裝置槽池中保留被路由到的專家,使 grouped_mm 無需改動即可執行;專家量化為 3 位元(磁碟上 49 GB,快取 12 GiB),並將 51 GB 的 n-gram 表留在磁碟上。在單張 A10G 上以 Qwen3.6-35B-A3B 進行的基準測試顯示,Transformers + Accelerate 為 0.16 tok/s,而 Strata 為 82-88,llama.cpp 為 63-64。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。