Lightreason เผยแพร่ repo ที่อ้างว่าทำ inference ของ Qwen ได้เร็วขึ้นบน RTX 4090 ตัวเดียว
เริ่มตรงนี้
Lightreason เผยแพร่ repository บน GitHub ที่บันทึกวิธีเร่งความเร็ว inference ของ Qwen บน RTX 4090 ตัวเดียว โดยรายงานว่าได้ 63.0 ถึง 139.6 tok/s สำหรับ Qwen2.5-3B-Instruct และ 7.93 ถึง 51.08 tok/s บน Python prompt ที่จำกัดความยาวสำหรับ Qwen3.6-35B-A3B เนื่องจากน้ำหนักข้อความของ 35B มีขนาด 64.56 GiB ตัว runner จึงเก็บน้ำหนัก expert ส่วนใหญ่ไว้ในหน่วยความจำระบบและย้ายเฉพาะส่วนที่ Qwen ใช้งาน ขณะที่ target BF16 ต้นฉบับเป็นตัวตัดสินทุก token สุดท้าย repository นี้ไม่ได้มาพร้อม checkpoint หรือน้ำหนัก adapter ใด ๆ quickstart สาธารณะของ 3B Studio กำหนดเป้าหมายที่ Linux พร้อม RTX 4090 และไดรเวอร์ที่เข้ากันได้กับ CUDA 12.8 ส่วน runner ของ 35B ใช้การตั้งค่า benchmark แยกที่ต้องใช้หน่วยความจำระบบมากขึ้น การทำซ้ำตัวเลข PARD2 ที่เผยแพร่ต้องใช้ lab adapter ที่ตรงกัน และ Turbo runner แบบเลือกใช้ได้กับการ benchmark การประสานงาน GPU ยังต้องใช้ไดเรกทอรี draft ของ AMD PARD2 ที่ปักหมุดไว้และ checkpoint LoRA/projector ที่ฝึกแล้วซึ่งจัดหาเองในเครื่อง
สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIรีโป Lightreason เอกสารการเร่งความเร็ว 6-11 เท่าสำหรับการรัน Qwen3.6-35B-A3B และ Qwen2.5-3B บน RTX 4090 ตัวเดียว
Lightreason เผยแพร่รีโป GitHub พร้อมกระบวนการเร่งความเร็วการอนุมาน Qwen บน RTX 4090 ตัวเดียว โดยรายงานความเร็ว 63.0 ถึง 139.6 tok/s สำหรับ Qwen2.5-3B-Instruct และ 7.93 ถึง 51.08 tok/s บนพรอมป์ Python แบบจำกัดสำหรับ Qwen3.6-35B-A3B น้ำหนักข้อความของโมเดล 35B มีขนาด 64.56 GiB ดังนั้นตัวรันจึงเก็บน้ำหนัก expert ส่วนใหญ่ไว้ในหน่วยความจำระบบและย้ายเฉพาะส่วนที่ Qwen ใช้งาน ขณะที่เป้าหมาย BF16 ดั้งเดิมเป็นตัวตัดสินทุกโทเคนสุดท้าย รีโปนี้ไม่ได้มาพร้อม checkpoint หรือน้ำหนัก adapter และ quickstart ของ 3B Studio กำหนดเป้าหมายที่ Linux พร้อม CUDA 12.8 และ PyTorch 2.9.1
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม