ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Transformers เพิ่มการสตรีมผู้เชี่ยวชาญ MoE รันโมเดล 180B บน Mac 32GB

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 18 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

นักพัฒนารายหนึ่งเพิ่มการสตรีมผู้เชี่ยวชาญแบบอิง SSD ให้กับ Hugging Face Transformers ผ่าน PR #50717 ทำให้โมเดล mixture-of-experts ระดับ 180B สามารถรันบน MacBook M5 ขนาด 32 GB ได้ เดโมใช้ Qwen3.8-Flash-Next ที่มีผู้เชี่ยวชาญ FP8 ขนาด 121 GB ถอดรหัสที่ 13.9 tok/s — ช้ากว่า Strata ที่ 14.8 tok/s ประมาณ 6% วิธีนี้เก็บเฉพาะผู้เชี่ยวชาญที่ถูกเลือกเส้นทางไว้ในพูลสล็อตบนอุปกรณ์แบบจำกัดขนาด เพื่อให้ grouped_mm ทำงานโดยไม่ต้องแก้ไข ควอนไทซ์ผู้เชี่ยวชาญเป็น 3 บิต (49 GB บนดิสก์, แคช 12 GiB) และเก็บตาราง n-gram ขนาด 51 GB ไว้บนดิสก์ ประสิทธิภาพไม่สม่ำเสมอ: บน A10G เครื่องเดียวกับ Qwen3.6-35B-A3B, Transformers + Accelerate ทำได้ 0.16 tok/s เทียบกับ 82–88 tok/s ของ Strata และ 63–64 tok/s ของ llama.cpp

สร้างจากรายงาน · อัปเดต 45 นาทีที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

18 พฤศจิกายน
  1. Hugging Face Blogคัดสรร
    Transformers เพิ่ม MoE expert streaming รันโมเดล 180B บน Mac 32GB ภายใน 6% ของ Strata

    นักพัฒนารายหนึ่งเพิ่ม expert streaming แบบ SSD ให้ Transformers ผ่าน PR #50717 ทำให้รัน Qwen3.8-Flash-Next ที่มี FP8 experts ขนาด 121 GB บน MacBook M5 32 GB ได้ที่ 13.9 tok/s ในการ decode ช้ากว่า Strata ที่ 14.8 tok/s ประมาณ 6% วิธีนี้เก็บเฉพาะ routed experts ไว้ใน device slot pool แบบมีขอบเขตเพื่อให้ grouped_mm ทำงานได้โดยไม่เปลี่ยนแปลง ควอนไทซ์ experts เป็น 3 บิต (49 GB บนดิสก์, แคช 12 GiB) และเก็บตาราง n-gram ขนาด 51 GB ไว้บนดิสก์ ผลทดสอบบน A10G หนึ่งตัวกับ Qwen3.6-35B-A3B พบว่า Transformers + Accelerate ได้ 0.16 tok/s เทียบกับ 82-88 ของ Strata และ 63-64 ของ llama.cpp

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม