Hacker News · AI·· 1 天前AI 评分60
Graphcore 与 Arm 在 Android 手机上以 3.7 GB 运行 11B Llama 3.2 Vision 模型
From research to reality: Fitting an 11B VLM on a phone
AI 导读
Graphcore 与 Arm 的研究人员将 11B 的 Llama 3.2 Vision Instruct VLM 从 21.3 GB 的 bfloat16 权重压缩为 3.7 GB 的实现,可在 Android 手机 CPU 上运行。他们的 S3D8 格式使用 3D 向量量化和一个小型查找表,以每字节三个权重、每权重 2.7 比特的方式存储权重;结合采样提示的量化感知训练,恢复了直接转换所破坏的下游任务性能。团队报告称,在 4096 x 14336 的矩阵-向量乘积上,S3D8 达到 33.8 GMAC/s,而 INT8 为 26.5 GMAC/s;在同等任务性能下,比块缩放 INT 额外压缩约 22%;他们指出,11B 模型对主流移动使用仍然过重,若能使用 Vulkan 内核进行预填充将会受益。
来源:Hacker News · AI · graphcore.ai