Graphcore và Arm đưa mô hình Llama 3.2 Vision 11B chạy trên điện thoại Android ở mức 3,7 GB
From research to reality: Fitting an 11B VLM on a phone
Các nhà nghiên cứu của Graphcore và Arm đã nén mô hình VLM Llama 3.2 Vision Instruct 11B từ 21,3 GB trọng số bfloat16 xuống còn 3,7 GB và chạy trên CPU của một điện thoại Android. Định dạng S3D8 của họ lưu ba trọng số mỗi byte ở mức 2,7 bit/trọng số bằng lượng tử hóa vector 3D và một bảng tra cứu nhỏ, cùng với huấn luyện nhận biết lượng tử hóa với các prompt được lấy mẫu giúp khôi phục hiệu năng tác vụ hạ nguồn mà việc ép kiểu trực tiếp làm hỏng. Nhóm nghiên cứu báo cáo S3D8 đạt 33,8 GMAC/s so với 26,5 GMAC/s của INT8 trên một phép nhân ma trận-vector 4096 x 14336, và nén thêm khoảng 22% so với INT có tỉ lệ khối ở cùng hiệu năng tác vụ; họ lưu ý mô hình 11B vẫn còn quá nặng cho sử dụng di động phổ thông và sẽ hưởng lợi từ các kernel Vulkan cho giai đoạn prefill.
Nguồn:Hacker News · AI · graphcore.ai