Graphcore 與 Arm 將 11B VLM 壓縮至 3.7 GB 並在手機上運行
先了解這件事
Graphcore 與 Arm 的研究人員將 11B 的 Llama 3.2 Vision Instruct 模型從 21.3 GB 的 bfloat16 權重壓縮為 3.7 GB 的實作,可在 Android 手機 CPU 上運行。他們的 S3D8 格式以每權重 2.7 位元、透過 3D 向量量化與小型查找表,將三個權重存入一個位元組,並以取樣提示進行的量化感知訓練,恢復了直接轉型所喪失的下游任務效能。 團隊報告指出,在 4096 x 14336 的矩陣向量乘法中,S3D8 達到 33.8 GMAC/s,而 INT8 為 26.5 GMAC/s;在同等任務效能下,相較於區塊縮放 INT 約多出 22% 的壓縮率。他們表示,11B 模型對主流行動裝置使用而言仍過於龐大,且該實作若能搭配 Vulkan 核心將有助於改善預填充時間;他們已釋出該實作以支持未來開發。
AI 依報導生成 · 1 天前更新
報導時間線
沿著報導,了解事件的不同側面。
- Hacker News · AIGraphcore 與 Arm 在 Android 手機上以 3.7 GB 跑起 11B Llama 3.2 Vision 模型
Graphcore 與 Arm 的研究人員將 11B 的 Llama 3.2 Vision Instruct VLM 從 21.3 GB 的 bfloat16 權重壓縮成 3.7 GB 的實作,可在 Android 手機 CPU 上執行。他們的 S3D8 格式透過 3D 向量量化與小型查找表,以每權重 2.7 位元的方式在每個位元組中儲存三個權重,並以取樣提示進行的量化感知訓練,挽回了直接轉型所破壞的下游任務表現。團隊報告指出,在 4096 x 14336 的矩陣向量乘法上,S3D8 達到 33.8 GMAC/s,而 INT8 為 26.5 GMAC/s;在同等任務表現下,比區塊縮放 INT 額外壓縮約 22%;他們也指出,11B 模型對主流行動用途而言仍過於沉重,若能為 prefill 提供 Vulkan 核心將有所助益。
本事件熱度走勢
- 可比範圍當前
- 5
- 可比範圍峰值
- 1011月15日 18:00
- 近 24 小時變化
- –
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。