vLLM ใช้ FlyDSL MonoKernels เพื่อลดเวลา decode สำหรับเอเจนต์แบบอินเทอร์แอกทีฟบน AMD Instinct GPUs
Keeping Agents Fast: High-Interactivity Decode with FlyDSL MonoKernels in vLLM
vLLM ได้ merge เส้นทาง mono decode แบบ opt-in ซึ่งเปิดใช้ด้วย --monokernel โดยใช้ FlyDSL MonoKernels เพื่อรวมหลายขั้นตอนของโอเปอเรเตอร์ที่พึ่งพากันให้เป็นการเรียกใช้ GPU kernel แบบ persistent เพียงครั้งเดียวบน AMD Instinct GPUs วิธีนี้ใช้ thread block ซ้ำข้ามขั้นตอน prefetch น้ำหนัก และส่งต่อข้อมูลผ่าน mailbox ที่ติดแท็ก ช่วยปรับปรุงการโต้ตอบที่ concurrency-1 หรือเวลาต่อ output token ได้ 1.20x ถึง 2.26x จาก PR ที่ merge แล้วสำหรับ DeepSeek-V4.1-Flash, DeepSeek-V4-Pro, MiniMax-M3, Kimi-K3 และ Muse Spark ผลตอบแทนลดลงเมื่อ concurrency สูงขึ้น ขั้นตอนถูกจำกัดด้วยความกว้าง และมีการรายงานความแม่นยำทั้งเมื่อเปิดและปิด mono สำหรับแต่ละการกำหนดค่า
แหล่งข่าว:vLLM Blog · vllm.ai