Transformers เพิ่ม MoE expert streaming รันโมเดล 180B บน Mac 32GB ภายใน 6% ของ Strata
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
นักพัฒนารายหนึ่งเพิ่ม expert streaming แบบ SSD ให้ Transformers ผ่าน PR #50717 ทำให้รัน Qwen3.8-Flash-Next ที่มี FP8 experts ขนาด 121 GB บน MacBook M5 32 GB ได้ที่ 13.9 tok/s ในการ decode ช้ากว่า Strata ที่ 14.8 tok/s ประมาณ 6% วิธีนี้เก็บเฉพาะ routed experts ไว้ใน device slot pool แบบมีขอบเขตเพื่อให้ grouped_mm ทำงานได้โดยไม่เปลี่ยนแปลง ควอนไทซ์ experts เป็น 3 บิต (49 GB บนดิสก์, แคช 12 GiB) และเก็บตาราง n-gram ขนาด 51 GB ไว้บนดิสก์ ผลทดสอบบน A10G หนึ่งตัวกับ Qwen3.6-35B-A3B พบว่า Transformers + Accelerate ได้ 0.16 tok/s เทียบกับ 82-88 ของ Strata และ 63-64 ของ llama.cpp
เป็นบันทึกจากการลงมือทำจริงในการเพิ่ม SSD expert streaming ให้ Transformers แสดงให้เห็นว่าโมเดล MoE 180B รันบน Mac 32GB ได้อย่างไร และ overhead จาก host-sync ที่เหลืออยู่ตรงไหน
แหล่งข่าว:Hugging Face Blog · huggingface.co