ข้ามไปที่เนื้อหา
Hacker News · AI·· 1 วันที่แล้วคะแนน AI60

Graphcore และ Arm ทำให้โมเดล Llama 3.2 Vision ขนาด 11B ทำงานบนโทรศัพท์ Android ได้ที่ขนาด 3.7 GB

From research to reality: Fitting an 11B VLM on a phone

สรุปโดย AI

นักวิจัยจาก Graphcore และ Arm บีบอัด VLM ชื่อ Llama 3.2 Vision Instruct ขนาด 11B จากน้ำหนัก bfloat16 21.3 GB ให้เหลือการใช้งานขนาด 3.7 GB ที่ทำงานบน CPU ของโทรศัพท์ Android รูปแบบ S3D8 ของพวกเขาเก็บน้ำหนักสามตัวต่อไบต์ที่ 2.7 บิต/น้ำหนัก โดยใช้การควอนไทซ์แบบเวกเตอร์ 3D และตารางค้นหาขนาดเล็ก และการฝึกที่ตระหนักถึงการควอนไทซ์พร้อมพรอมต์ที่สุ่มตัวอย่างช่วยกู้คืนประสิทธิภาพงานปลายทางที่การแปลงโดยตรงทำลายไป ทีมรายงานว่า S3D8 ทำได้ 33.8 GMAC/s เทียบกับ 26.5 GMAC/s สำหรับ INT8 ในการคูณเมทริกซ์-เวกเตอร์ขนาด 4096 x 14336 และมีการบีบอัดเพิ่มขึ้นประมาณ 22% เมื่อเทียบกับ INT แบบ block-scaled ที่ประสิทธิภาพงานเท่ากัน พวกเขาระบุว่าโมเดล 11B ยังหนักเกินไปสำหรับการใช้งานมือถือกระแสหลัก และจะได้ประโยชน์จากเคอร์เนล Vulkan สำหรับ prefill

แหล่งข่าว:Hacker News · AI · graphcore.ai