Tới nội dung
Hacker News · AI·· 16 giờ trướcĐiểm AI60

Hướng dẫn vLLM giải thích cách phục vụ phân tách cho prefill, decode và kết xuất CPU

Taking vLLM Apart: A Practical Guide to Disaggregated Serving

Tóm tắt bằng AI

Nhóm vLLM đã công bố một hướng dẫn thực tiễn về phục vụ phân tách trong vLLM v0.31.0 và các phiên bản sau, tách prefill, decode và kết xuất phía CPU thành các dịch vụ riêng biệt. Trên hai GPU NVIDIA L40S với Qwen2.5-7B-Instruct và prompt khoảng 8k token, độ trễ giữa các token p99 khi đặt chung tăng từ 23 ms lên 169 ms ở 0,4 req/s trong khi thiết lập prefill/decode vẫn ở mức từ 25 đến 52 ms. Hướng dẫn cảnh báo rằng việc truyền KV-cache chậm sẽ ảnh hưởng đến mọi token đầu tiên, và trên máy thử nghiệm không có sao chép peer-to-peer, mỗi cache khoảng 470 MB của prompt 8k mất khoảng 1,3 s để di chuyển.

Nguồn:Hacker News · AI · vllm.ai