vLLM เพิ่มเส้นทางการถอดรหัส FlyDSL MonoKernel แบบเลือกเปิดใช้สำหรับ GPU ของ AMD
เริ่มตรงนี้
vLLM ได้รวมเส้นทางการ "mono decode" แบบเลือกเปิดใช้ ซึ่งเปิดใช้งานด้วยแฟล็ก --monokernel โดยใช้ FlyDSL MonoKernels เพื่อหลอมรวมขั้นตอนโอเปอเรเตอร์ที่พึ่งพากันหลายขั้นเข้าเป็นการเรียกใช้เคอร์เนล GPU แบบถาวรครั้งเดียวบน GPU AMD Instinct เคอร์เนลเหล่านี้ใช้บล็อกเธรดซ้ำข้ามขั้นตอน ดึงน้ำหนักล่วงหน้า และส่งข้อมูลผ่านกล่องจดหมายที่ติดแท็ก จากการรวม PR สำหรับ DeepSeek-V4.1-Flash, DeepSeek-V4-Pro, MiniMax-M3, Kimi-K3 และ Muse Spark vLLM รายงานว่าได้ประโยชน์ 1.20x ถึง 2.26x ในเวลาต่อโทเคนเอาต์พุตที่ระดับการทำงานพร้อมกัน 1 ซึ่งเป็นค่าที่สำคัญสำหรับเอเจนต์แบบโต้ตอบ ประโยชน์ที่ได้จะลดลงเมื่อระดับการทำงานพร้อมกันเพิ่มขึ้น และแต่ละขั้นตอนถูกจำกัดด้วยความกว้าง Mono decode เป็นแบบเลือกเปิดใช้ ผู้ใช้เพิ่ม --monokernel ในสูตรที่รองรับ และหากการติดตั้งใช้งานไม่ได้รับการรองรับ vLLM จะปฏิเสธที่จะเริ่มทำงานและแสดงเหตุผลทั้งหมด พอร์ตสำหรับ GLM-5.x, Qwen3.8 และ MiniMax-M3.1 ยังอยู่ระหว่างการตรวจสอบ หากไม่มี FP4/FP8 MFMA แบบขยาย เคอร์เนลจะเก็บสำเนาน้ำหนักของตัวเอง ซึ่งสำหรับ DeepSeek-V4.1-Flash ที่ TP4 หมายถึง 170 GiB ต่อแรงก์ แทนที่จะเป็น 99 GiB vLLM รายงานความแม่นยำทั้งเมื่อเปิดและปิด mono สำหรับแต่ละการกำหนดค่า
สร้างจากรายงาน · อัปเดต 29 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- vLLM BlogvLLM ใช้ FlyDSL MonoKernels เพื่อลดเวลา decode สำหรับเอเจนต์แบบอินเทอร์แอกทีฟบน AMD Instinct GPUs
vLLM ได้ merge เส้นทาง mono decode แบบ opt-in ซึ่งเปิดใช้ด้วย --monokernel โดยใช้ FlyDSL MonoKernels เพื่อรวมหลายขั้นตอนของโอเปอเรเตอร์ที่พึ่งพากันให้เป็นการเรียกใช้ GPU kernel แบบ persistent เพียงครั้งเดียวบน AMD Instinct GPUs วิธีนี้ใช้ thread block ซ้ำข้ามขั้นตอน prefetch น้ำหนัก และส่งต่อข้อมูลผ่าน mailbox ที่ติดแท็ก ช่วยปรับปรุงการโต้ตอบที่ concurrency-1 หรือเวลาต่อ output token ได้ 1.20x ถึง 2.26x จาก PR ที่ merge แล้วสำหรับ DeepSeek-V4.1-Flash, DeepSeek-V4-Pro, MiniMax-M3, Kimi-K3 และ Muse Spark ผลตอบแทนลดลงเมื่อ concurrency สูงขึ้น ขั้นตอนถูกจำกัดด้วยความกว้าง และมีการรายงานความแม่นยำทั้งเมื่อเปิดและปิด mono สำหรับแต่ละการกำหนดค่า
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม