vLLM dùng FlyDSL MonoKernels để giảm độ trễ giải mã cho tác nhân tương tác trên GPU AMD Instinct
Keeping Agents Fast: High-Interactivity Decode with FlyDSL MonoKernels in vLLM
vLLM đã hợp nhất một đường giải mã mono tùy chọn, được bật bằng --monokernel, sử dụng FlyDSL MonoKernels để kết hợp nhiều giai đoạn toán tử phụ thuộc vào một lần khởi chạy kernel GPU liên tục duy nhất trên GPU AMD Instinct. Cách tiếp cận này tái sử dụng các khối luồng qua các giai đoạn, tải trước trọng số và chuyển giao dữ liệu qua hộp thư được gắn thẻ, cải thiện khả năng tương tác ở mức đồng thời-1 hoặc thời gian trên mỗi token đầu ra từ 1,20x đến 2,26x trên các PR đã hợp nhất cho DeepSeek-V4.1-Flash, DeepSeek-V4-Pro, MiniMax-M3, Kimi-K3 và Muse Spark. Lợi ích giảm đi ở mức đồng thời cao hơn, các bước bị giới hạn bởi độ rộng, và độ chính xác được báo cáo với mono bật và tắt cho từng cấu hình.
Nguồn:vLLM Blog · vllm.ai