รีโป Lightreason เอกสารการเร่งความเร็ว 6-11 เท่าสำหรับการรัน Qwen3.6-35B-A3B และ Qwen2.5-3B บน RTX 4090 ตัวเดียว

Lightreason เผยแพร่รีโป GitHub พร้อมกระบวนการเร่งความเร็วการอนุมาน Qwen บน RTX 4090 ตัวเดียว โดยรายงานความเร็ว 63.0 ถึง 139.6 tok/s สำหรับ Qwen2.5-3B-Instruct และ 7.93 ถึง 51.08 tok/s บนพรอมป์ Python แบบจำกัดสำหรับ Qwen3.6-35B-A3B น้ำหนักข้อความของโมเดล 35B มีขนาด 64.56 GiB ดังนั้นตัวรันจึงเก็บน้ำหนัก expert ส่วนใหญ่ไว้ในหน่วยความจำระบบและย้ายเฉพาะส่วนที่ Qwen ใช้งาน ขณะที่เป้าหมาย BF16 ดั้งเดิมเป็นตัวตัดสินทุกโทเคนสุดท้าย รีโปนี้ไม่ได้มาพร้อม checkpoint หรือน้ำหนัก adapter และ quickstart ของ 3B Studio กำหนดเป้าหมายที่ Linux พร้อม CUDA 12.8 และ PyTorch 2.9.1