Tới nội dung
vLLM Blog· Felix Li, Lingpeng Jin, Hattie Wu, Carlus Huang, Fangzhou Ai, Zaidy Ali, Amanzhol Salykov, Hyukjoon Lee, Ziming Huang, Jun Chen, Yifeng Huang, Bin Ding, Xiaobing Zhang, Yi Gan, Vinayak Gokhale, Hongxia Yang, Doug Lehr, Richard Li, Andy Luo, Peng Sun, and Emad Barsoum·· 15 giờ trướcĐiểm AI58

vLLM dùng FlyDSL MonoKernels để giảm độ trễ giải mã cho tác nhân tương tác trên GPU AMD Instinct

Keeping Agents Fast: High-Interactivity Decode with FlyDSL MonoKernels in vLLM

Tóm tắt bằng AI

vLLM đã hợp nhất một đường giải mã mono tùy chọn, được bật bằng --monokernel, sử dụng FlyDSL MonoKernels để kết hợp nhiều giai đoạn toán tử phụ thuộc vào một lần khởi chạy kernel GPU liên tục duy nhất trên GPU AMD Instinct. Cách tiếp cận này tái sử dụng các khối luồng qua các giai đoạn, tải trước trọng số và chuyển giao dữ liệu qua hộp thư được gắn thẻ, cải thiện khả năng tương tác ở mức đồng thời-1 hoặc thời gian trên mỗi token đầu ra từ 1,20x đến 2,26x trên các PR đã hợp nhất cho DeepSeek-V4.1-Flash, DeepSeek-V4-Pro, MiniMax-M3, Kimi-K3 và Muse Spark. Lợi ích giảm đi ở mức đồng thời cao hơn, các bước bị giới hạn bởi độ rộng, và độ chính xác được báo cáo với mono bật và tắt cho từng cấu hình.

Nguồn:vLLM Blog · vllm.ai