跳到正文
Hugging Face Blog·· 18 小时前精选AI 评分60

Transformers 新增 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型,性能与 Strata 相差 6% 以内

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 导读

一位开发者通过 PR #50717 为 Transformers 添加了基于 SSD 的专家流式加载,在 32GB MacBook M5 上运行 Qwen3.8-Flash-Next(FP8 专家共 121 GB),解码速度 13.9 tok/s,比 Strata 的 14.8 tok/s 落后约 6%。该方法只在设备端有界槽池中保留被路由到的专家,使 grouped_mm 无需改动即可运行;专家量化为 3 比特(磁盘占用 49 GB,缓存 12 GiB),51 GB 的 n-gram 表保留在磁盘上。在一张 A10G 上使用 Qwen3.6-35B-A3B 的基准测试中,Transformers + Accelerate 为 0.16 tok/s,而 Strata 为 82-88 tok/s,llama.cpp 为 63-64 tok/s。

推荐理由

这是一份为 Transformers 添加 SSD 专家流式加载的实践记录,展示了 180B MoE 模型如何在 32GB Mac 上运行,以及剩余的主机同步开销位于何处。

来源:Hugging Face Blog · huggingface.co