Graphcore 与 Arm 将 110 亿参数 VLM 压缩至 3.7 GB 并运行在手机上
先了解这件事
Graphcore 与 Arm 的研究人员将 110 亿参数的 Llama 3.2 Vision Instruct 模型从 21.3 GB 的 bfloat16 权重压缩为 3.7 GB 的实现,可在 Android 手机 CPU 上运行。他们的 S3D8 格式利用 3D 向量量化和一个小型查找表,以每权重 2.7 比特的精度将三个权重存储在一个字节中;而采用采样提示词的量化感知训练,能够恢复直接类型转换所丢失的下游任务性能。 该团队报告称,在 4096 x 14336 的矩阵-向量乘积上,S3D8 达到 33.8 GMAC/s,而 INT8 为 26.5 GMAC/s;在同等任务性能下,相比块缩放 INT 额外获得约 22% 的压缩率。他们表示,该 110 亿参数模型对主流移动端使用来说仍然过于沉重,且该实现将受益于 Vulkan 内核以改善预填充时间;他们已将其发布以支持未来开发。
AI 根据报道生成 · 1 天前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hacker News · AIGraphcore 与 Arm 在 Android 手机上以 3.7 GB 运行 11B Llama 3.2 Vision 模型
Graphcore 与 Arm 的研究人员将 11B 的 Llama 3.2 Vision Instruct VLM 从 21.3 GB 的 bfloat16 权重压缩为 3.7 GB 的实现,可在 Android 手机 CPU 上运行。他们的 S3D8 格式使用 3D 向量量化和一个小型查找表,以每字节三个权重、每权重 2.7 比特的方式存储权重;结合采样提示的量化感知训练,恢复了直接转换所破坏的下游任务性能。团队报告称,在 4096 x 14336 的矩阵-向量乘积上,S3D8 达到 33.8 GMAC/s,而 INT8 为 26.5 GMAC/s;在同等任务性能下,比块缩放 INT 额外压缩约 22%;他们指出,11B 模型对主流移动使用仍然过重,若能使用 Vulkan 内核进行预填充将会受益。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 1011月15日 18:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。