Graphcore và Arm nén VLM 11B xuống 3,7 GB trên điện thoại
Bắt đầu từ đây
Các nhà nghiên cứu của Graphcore và Arm đã nén mô hình Llama 3.2 Vision Instruct 11B từ 21,3 GB trọng số bfloat16 xuống một bản triển khai 3,7 GB chạy trên CPU của điện thoại Android. Định dạng S3D8 của họ lưu ba trọng số mỗi byte ở mức 2,7 bit mỗi trọng số bằng lượng tử hóa vectơ 3D và một bảng tra cứu nhỏ, còn huấn luyện nhận biết lượng tử hóa với các prompt được lấy mẫu giúp khôi phục hiệu năng tác vụ hạ nguồn mà phép ép kiểu trực tiếp làm mất đi. Nhóm nghiên cứu báo cáo S3D8 đạt 33,8 GMAC/s so với 26,5 GMAC/s của INT8 trên một phép nhân ma trận-vectơ 4096 x 14336, và nén thêm khoảng 22% so với INT có tỉ lệ khối ở cùng hiệu năng tác vụ. Họ cho biết mô hình 11B vẫn còn quá nặng cho mục đích sử dụng di động phổ thông và bản triển khai sẽ hưởng lợi từ các kernel Vulkan để cải thiện thời gian prefill; họ đã phát hành nó để hỗ trợ phát triển trong tương lai.
Tạo từ các bài viết · cập nhật 23 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIGraphcore và Arm đưa mô hình Llama 3.2 Vision 11B chạy trên điện thoại Android ở mức 3,7 GB
Các nhà nghiên cứu của Graphcore và Arm đã nén mô hình VLM Llama 3.2 Vision Instruct 11B từ 21,3 GB trọng số bfloat16 xuống còn 3,7 GB và chạy trên CPU của một điện thoại Android. Định dạng S3D8 của họ lưu ba trọng số mỗi byte ở mức 2,7 bit/trọng số bằng lượng tử hóa vector 3D và một bảng tra cứu nhỏ, cùng với huấn luyện nhận biết lượng tử hóa với các prompt được lấy mẫu giúp khôi phục hiệu năng tác vụ hạ nguồn mà việc ép kiểu trực tiếp làm hỏng. Nhóm nghiên cứu báo cáo S3D8 đạt 33,8 GMAC/s so với 26,5 GMAC/s của INT8 trên một phép nhân ma trận-vector 4096 x 14336, và nén thêm khoảng 22% so với INT có tỉ lệ khối ở cùng hiệu năng tác vụ; họ lưu ý mô hình 11B vẫn còn quá nặng cho sử dụng di động phổ thông và sẽ hưởng lợi từ các kernel Vulkan cho giai đoạn prefill.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 5
- Đỉnh, trong khoảng so sánh được
- 1015 tháng 11 18:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.