跳到正文
热点事件持续更新

Transformers 新增 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型

1 篇报道1 个报道来源18 小时前更新

先了解这件事

AI 综述

一位开发者通过 PR #50717 为 Hugging Face Transformers 加入了基于 SSD 的专家流式加载,使 180B 级别的混合专家模型能够在 32 GB 的 MacBook M5 上运行。演示使用了 Qwen3.8-Flash-Next,其 FP8 专家共 121 GB,解码速度为 13.9 tok/s——比 Strata 的 14.8 tok/s 落后约 6%。 该方法只在设备端有界槽位池中保留被路由到的专家,因此 grouped_mm 无需改动即可运行;专家被量化为 3 比特(磁盘占用 49 GB,缓存 12 GiB),而 51 GB 的 n-gram 表则保留在磁盘上。 性能表现并不均衡:在单张 A10G 上运行 Qwen3.6-35B-A3B 时,Transformers + Accelerate 仅达到 0.16 tok/s,而 Strata 为 82–88 tok/s,llama.cpp 为 63–64 tok/s。

AI 根据报道生成 · 45 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. Hugging Face Blog精选
    Transformers 新增 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型,性能与 Strata 相差 6% 以内

    一位开发者通过 PR #50717 为 Transformers 添加了基于 SSD 的专家流式加载,在 32GB MacBook M5 上运行 Qwen3.8-Flash-Next(FP8 专家共 121 GB),解码速度 13.9 tok/s,比 Strata 的 14.8 tok/s 落后约 6%。该方法只在设备端有界槽池中保留被路由到的专家,使 grouped_mm 无需改动即可运行;专家量化为 3 比特(磁盘占用 49 GB,缓存 12 GiB),51 GB 的 n-gram 表保留在磁盘上。在一张 A10G 上使用 Qwen3.6-35B-A3B 的基准测试中,Transformers + Accelerate 为 0.16 tok/s,而 Strata 为 82-88 tok/s,llama.cpp 为 63-64 tok/s。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。