ข้ามไปที่เนื้อหา
vLLM Blog· Felix Li, Lingpeng Jin, Hattie Wu, Carlus Huang, Fangzhou Ai, Zaidy Ali, Amanzhol Salykov, Hyukjoon Lee, Ziming Huang, Jun Chen, Yifeng Huang, Bin Ding, Xiaobing Zhang, Yi Gan, Vinayak Gokhale, Hongxia Yang, Doug Lehr, Richard Li, Andy Luo, Peng Sun, and Emad Barsoum·· 15 ชม. ที่แล้วคะแนน AI58

vLLM ใช้ FlyDSL MonoKernels เพื่อลดเวลา decode สำหรับเอเจนต์แบบอินเทอร์แอกทีฟบน AMD Instinct GPUs

Keeping Agents Fast: High-Interactivity Decode with FlyDSL MonoKernels in vLLM

สรุปโดย AI

vLLM ได้ merge เส้นทาง mono decode แบบ opt-in ซึ่งเปิดใช้ด้วย --monokernel โดยใช้ FlyDSL MonoKernels เพื่อรวมหลายขั้นตอนของโอเปอเรเตอร์ที่พึ่งพากันให้เป็นการเรียกใช้ GPU kernel แบบ persistent เพียงครั้งเดียวบน AMD Instinct GPUs วิธีนี้ใช้ thread block ซ้ำข้ามขั้นตอน prefetch น้ำหนัก และส่งต่อข้อมูลผ่าน mailbox ที่ติดแท็ก ช่วยปรับปรุงการโต้ตอบที่ concurrency-1 หรือเวลาต่อ output token ได้ 1.20x ถึง 2.26x จาก PR ที่ merge แล้วสำหรับ DeepSeek-V4.1-Flash, DeepSeek-V4-Pro, MiniMax-M3, Kimi-K3 และ Muse Spark ผลตอบแทนลดลงเมื่อ concurrency สูงขึ้น ขั้นตอนถูกจำกัดด้วยความกว้าง และมีการรายงานความแม่นยำทั้งเมื่อเปิดและปิด mono สำหรับแต่ละการกำหนดค่า

แหล่งข่าว:vLLM Blog · vllm.ai