Graphcore และ Arm ทำให้โมเดล Llama 3.2 Vision ขนาด 11B ทำงานบนโทรศัพท์ Android ได้ที่ขนาด 3.7 GB
From research to reality: Fitting an 11B VLM on a phone
นักวิจัยจาก Graphcore และ Arm บีบอัด VLM ชื่อ Llama 3.2 Vision Instruct ขนาด 11B จากน้ำหนัก bfloat16 21.3 GB ให้เหลือการใช้งานขนาด 3.7 GB ที่ทำงานบน CPU ของโทรศัพท์ Android รูปแบบ S3D8 ของพวกเขาเก็บน้ำหนักสามตัวต่อไบต์ที่ 2.7 บิต/น้ำหนัก โดยใช้การควอนไทซ์แบบเวกเตอร์ 3D และตารางค้นหาขนาดเล็ก และการฝึกที่ตระหนักถึงการควอนไทซ์พร้อมพรอมต์ที่สุ่มตัวอย่างช่วยกู้คืนประสิทธิภาพงานปลายทางที่การแปลงโดยตรงทำลายไป ทีมรายงานว่า S3D8 ทำได้ 33.8 GMAC/s เทียบกับ 26.5 GMAC/s สำหรับ INT8 ในการคูณเมทริกซ์-เวกเตอร์ขนาด 4096 x 14336 และมีการบีบอัดเพิ่มขึ้นประมาณ 22% เมื่อเทียบกับ INT แบบ block-scaled ที่ประสิทธิภาพงานเท่ากัน พวกเขาระบุว่าโมเดล 11B ยังหนักเกินไปสำหรับการใช้งานมือถือกระแสหลัก และจะได้ประโยชน์จากเคอร์เนล Vulkan สำหรับ prefill
แหล่งข่าว:Hacker News · AI · graphcore.ai