Tới nội dung
Sự việc nóngĐang diễn ra

Nhóm vLLM công bố hướng dẫn về phục vụ phân tách

1 bài viết1 nguồn đưa tinCập nhật 16 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Nhóm vLLM đã công bố một hướng dẫn thực tiễn về phục vụ phân tách trong vLLM v0.31.0 và các phiên bản sau, tách prefill, decode và kết xuất phía CPU thành các dịch vụ riêng biệt. Trong một thử nghiệm trên hai GPU NVIDIA L40S với Qwen2.5-7B-Instruct và các prompt khoảng 8k token, độ trễ giữa các token p99 khi đặt chung tăng từ 23 ms lên 169 ms ở 0,4 req/s, trong khi thiết lập prefill/decode vẫn ở mức từ 25 đến 52 ms. Hướng dẫn cảnh báo rằng việc truyền KV-cache chậm ảnh hưởng đến mọi token đầu tiên: trên máy thử nghiệm, vốn không có sao chép peer-to-peer, việc di chuyển bộ nhớ đệm ~470 MB của mỗi prompt 8k mất khoảng 1,3 s. Hướng dẫn đề cập khi nào nên dùng từng cách tách và cách chạy nó; proxy trong tests/ được mô tả là phù hợp cho phát triển nhưng không dành cho môi trường sản xuất.

Tạo từ các bài viết · cập nhật 16 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

19 tháng 11
  1. Hacker News · AI
    Hướng dẫn vLLM giải thích cách phục vụ phân tách cho prefill, decode và kết xuất CPU

    Nhóm vLLM đã công bố một hướng dẫn thực tiễn về phục vụ phân tách trong vLLM v0.31.0 và các phiên bản sau, tách prefill, decode và kết xuất phía CPU thành các dịch vụ riêng biệt. Trên hai GPU NVIDIA L40S với Qwen2.5-7B-Instruct và prompt khoảng 8k token, độ trễ giữa các token p99 khi đặt chung tăng từ 23 ms lên 169 ms ở 0,4 req/s trong khi thiết lập prefill/decode vẫn ở mức từ 25 đến 52 ms. Hướng dẫn cảnh báo rằng việc truyền KV-cache chậm sẽ ảnh hưởng đến mọi token đầu tiên, và trên máy thử nghiệm không có sao chép peer-to-peer, mỗi cache khoảng 470 MB của prompt 8k mất khoảng 1,3 s để di chuyển.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
6
Đỉnh, trong khoảng so sánh được
1019 tháng 11 12:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.