Hacker News · AI·· 1 天前AI 評分60
Graphcore 與 Arm 在 Android 手機上以 3.7 GB 跑起 11B Llama 3.2 Vision 模型
From research to reality: Fitting an 11B VLM on a phone
AI 導讀
Graphcore 與 Arm 的研究人員將 11B 的 Llama 3.2 Vision Instruct VLM 從 21.3 GB 的 bfloat16 權重壓縮成 3.7 GB 的實作,可在 Android 手機 CPU 上執行。他們的 S3D8 格式透過 3D 向量量化與小型查找表,以每權重 2.7 位元的方式在每個位元組中儲存三個權重,並以取樣提示進行的量化感知訓練,挽回了直接轉型所破壞的下游任務表現。團隊報告指出,在 4096 x 14336 的矩陣向量乘法上,S3D8 達到 33.8 GMAC/s,而 INT8 為 26.5 GMAC/s;在同等任務表現下,比區塊縮放 INT 額外壓縮約 22%;他們也指出,11B 模型對主流行動用途而言仍過於沉重,若能為 prefill 提供 Vulkan 核心將有所助益。
來源:Hacker News · AI · graphcore.ai