Transformers 新增 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型
先了解这件事
一位开发者通过 PR #50717 为 Hugging Face Transformers 加入了基于 SSD 的专家流式加载,使 180B 级别的混合专家模型能够在 32 GB 的 MacBook M5 上运行。演示使用了 Qwen3.8-Flash-Next,其 FP8 专家共 121 GB,解码速度为 13.9 tok/s——比 Strata 的 14.8 tok/s 落后约 6%。 该方法只在设备端有界槽位池中保留被路由到的专家,因此 grouped_mm 无需改动即可运行;专家被量化为 3 比特(磁盘占用 49 GB,缓存 12 GiB),而 51 GB 的 n-gram 表则保留在磁盘上。 性能表现并不均衡:在单张 A10G 上运行 Qwen3.6-35B-A3B 时,Transformers + Accelerate 仅达到 0.16 tok/s,而 Strata 为 82–88 tok/s,llama.cpp 为 63–64 tok/s。
AI 根据报道生成 · 45 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hugging Face Blog精选Transformers 新增 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型,性能与 Strata 相差 6% 以内
一位开发者通过 PR #50717 为 Transformers 添加了基于 SSD 的专家流式加载,在 32GB MacBook M5 上运行 Qwen3.8-Flash-Next(FP8 专家共 121 GB),解码速度 13.9 tok/s,比 Strata 的 14.8 tok/s 落后约 6%。该方法只在设备端有界槽池中保留被路由到的专家,使 grouped_mm 无需改动即可运行;专家量化为 3 比特(磁盘占用 49 GB,缓存 12 GiB),51 GB 的 n-gram 表保留在磁盘上。在一张 A10G 上使用 Qwen3.6-35B-A3B 的基准测试中,Transformers + Accelerate 为 0.16 tok/s,而 Strata 为 82-88 tok/s,llama.cpp 为 63-64 tok/s。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。