ASpec: กรอบการฝึกอบรมปริมาณสูงสำหรับโมเดลร่างการถอดรหัสแบบคาดการณ์

ASpec เป็นกรอบการฝึกอบรมปริมาณสูงสำหรับโมเดลร่างการถอดรหัสแบบคาดการณ์ สร้างจากฐานโค้ด TorchSpec พร้อมการปรับแต่ง attention, fused kernels และการคำนวณ head/loss แบบเลือกได้ ในการรัน Qwen3-8B 4K การฝึกแบบ Draft-only ทำได้ 15,256.44 input tokens/s บน GPU หนึ่งตัว เป็น 1.96× ของ TorchSpec ขณะที่หน้าต่าง steady แบบออนไลน์ 8-GPU ทำได้ 77,721.37 tokens/s เป็น 2.28× ของ TorchSpec รองรับ DSpark, DFlash, EAGLE3/4 และ MTP drafts แบบเนทีฟ พร้อม quickstart สำหรับ Qwen3-8B และ Ling tiny