Graphcore และ Arm บีบอัด VLM ขนาด 11B ให้เหลือ 3.7 GB บนโทรศัพท์
เริ่มตรงนี้
นักวิจัยจาก Graphcore และ Arm บีบอัดโมเดล Llama 3.2 Vision Instruct ขนาด 11B จากน้ำหนัก bfloat16 21.3 GB ให้เหลือการใช้งานจริง 3.7 GB ที่รันบน CPU ของโทรศัพท์ Android รูปแบบ S3D8 ของพวกเขาเก็บน้ำหนักสามค่าต่อไบต์ที่ 2.7 บิตต่อน้ำหนัก โดยใช้การควอนไทซ์แบบเวกเตอร์ 3 มิติและตารางค้นหาขนาดเล็ก และการฝึกที่ตระหนักถึงการควอนไทซ์ด้วยพรอมต์ที่สุ่มตัวอย่างช่วยกู้คืนประสิทธิภาพงานปลายทางที่การแปลงโดยตรงสูญเสียไป ทีมรายงานว่า S3D8 ทำได้ 33.8 GMAC/s เทียบกับ 26.5 GMAC/s ของ INT8 ในการคูณเมทริกซ์กับเวกเตอร์ขนาด 4096 x 14336 และบีบอัดได้เพิ่มขึ้นราว 22% เมื่อเทียบกับ INT แบบบล็อกสเกลที่ประสิทธิภาพงานเท่ากัน พวกเขากล่าวว่าโมเดล 11B ยังหนักเกินไปสำหรับการใช้งานมือถือกระแสหลัก และการใช้งานจริงนี้จะได้ประโยชน์จากเคอร์เนล Vulkan เพื่อปรับปรุงเวลา prefill พวกเขาเปิดตัวมันเพื่อสนับสนุนการพัฒนาต่อไป
สร้างจากรายงาน · อัปเดต 23 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIGraphcore และ Arm ทำให้โมเดล Llama 3.2 Vision ขนาด 11B ทำงานบนโทรศัพท์ Android ได้ที่ขนาด 3.7 GB
นักวิจัยจาก Graphcore และ Arm บีบอัด VLM ชื่อ Llama 3.2 Vision Instruct ขนาด 11B จากน้ำหนัก bfloat16 21.3 GB ให้เหลือการใช้งานขนาด 3.7 GB ที่ทำงานบน CPU ของโทรศัพท์ Android รูปแบบ S3D8 ของพวกเขาเก็บน้ำหนักสามตัวต่อไบต์ที่ 2.7 บิต/น้ำหนัก โดยใช้การควอนไทซ์แบบเวกเตอร์ 3D และตารางค้นหาขนาดเล็ก และการฝึกที่ตระหนักถึงการควอนไทซ์พร้อมพรอมต์ที่สุ่มตัวอย่างช่วยกู้คืนประสิทธิภาพงานปลายทางที่การแปลงโดยตรงทำลายไป ทีมรายงานว่า S3D8 ทำได้ 33.8 GMAC/s เทียบกับ 26.5 GMAC/s สำหรับ INT8 ในการคูณเมทริกซ์-เวกเตอร์ขนาด 4096 x 14336 และมีการบีบอัดเพิ่มขึ้นประมาณ 22% เมื่อเทียบกับ INT แบบ block-scaled ที่ประสิทธิภาพงานเท่ากัน พวกเขาระบุว่าโมเดล 11B ยังหนักเกินไปสำหรับการใช้งานมือถือกระแสหลัก และจะได้ประโยชน์จากเคอร์เนล Vulkan สำหรับ prefill
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 5
- จุดสูงสุดในช่วงที่เทียบได้
- 1015 พฤศจิกายน 18:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู