vLLM bổ sung đường dẫn giải mã FlyDSL MonoKernel tùy chọn cho GPU AMD
Bắt đầu từ đây
vLLM đã hợp nhất một đường dẫn "mono decode" tùy chọn, được bật bằng cờ --monokernel, sử dụng FlyDSL MonoKernels để hợp nhất nhiều giai đoạn toán tử phụ thuộc vào một lần khởi chạy kernel GPU liên tục duy nhất trên GPU AMD Instinct. Các kernel tái sử dụng thread block qua các giai đoạn, tải trước trọng số và truyền dữ liệu qua hộp thư được gắn thẻ. Trong các PR đã hợp nhất cho DeepSeek-V4.1-Flash, DeepSeek-V4-Pro, MiniMax-M3, Kimi-K3 và Muse Spark, vLLM báo cáo mức cải thiện từ 1,20x đến 2,26x về thời gian trên mỗi token đầu ra ở mức đồng thời 1, thiết lập quan trọng đối với tác nhân tương tác; mức cải thiện giảm khi độ đồng thời tăng, và mỗi bước bị giới hạn bởi độ rộng. Mono decode là tùy chọn: người dùng thêm --monokernel vào một công thức được hỗ trợ, và nếu một triển khai không được hỗ trợ thì vLLM từ chối khởi động và liệt kê mọi lý do. Các bản chuyển cho GLM-5.x, Qwen3.8 và MiniMax-M3.1 vẫn đang được xem xét. Không có MFMA FP4/FP8 mở rộng, các kernel giữ bản sao trọng số của riêng chúng, mà với DeepSeek-V4.1-Flash ở TP4 nghĩa là 170 GiB mỗi rank thay vì 99 GiB. vLLM báo cáo độ chính xác với mono bật và tắt cho từng cấu hình.
Tạo từ các bài viết · cập nhật 29 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- vLLM BlogvLLM dùng FlyDSL MonoKernels để giảm độ trễ giải mã cho tác nhân tương tác trên GPU AMD Instinct
vLLM đã hợp nhất một đường giải mã mono tùy chọn, được bật bằng --monokernel, sử dụng FlyDSL MonoKernels để kết hợp nhiều giai đoạn toán tử phụ thuộc vào một lần khởi chạy kernel GPU liên tục duy nhất trên GPU AMD Instinct. Cách tiếp cận này tái sử dụng các khối luồng qua các giai đoạn, tải trước trọng số và chuyển giao dữ liệu qua hộp thư được gắn thẻ, cải thiện khả năng tương tác ở mức đồng thời-1 hoặc thời gian trên mỗi token đầu ra từ 1,20x đến 2,26x trên các PR đã hợp nhất cho DeepSeek-V4.1-Flash, DeepSeek-V4-Pro, MiniMax-M3, Kimi-K3 và Muse Spark. Lợi ích giảm đi ở mức đồng thời cao hơn, các bước bị giới hạn bởi độ rộng, và độ chính xác được báo cáo với mono bật và tắt cho từng cấu hình.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.