Hacker News · AI·· 16 ชม. ที่แล้วคะแนน AI60
คู่มือ vLLM อธิบายการให้บริการแบบแยกส่วนสำหรับ prefill, decode และการเรนเดอร์บน CPU
Taking vLLM Apart: A Practical Guide to Disaggregated Serving
สรุปโดย AI
ทีม vLLM เผยแพร่คู่มือเชิงปฏิบัติสำหรับการให้บริการแบบแยกส่วนใน vLLM v0.31.0 และเวอร์ชันใหม่กว่า โดยแยก prefill, decode และการเรนเดอร์ฝั่ง CPU ออกเป็นบริการแยกกัน บน GPU NVIDIA L40S สองตัวกับ Qwen2.5-7B-Instruct และพรอมต์ประมาณ 8k โทเคน เมื่อใช้การติดตั้งแบบรวมศูนย์ ค่า p99 inter-token latency พุ่งจาก 23 ms เป็น 169 ms ที่ 0.4 req/s ขณะที่การตั้งค่า prefill/decode แยกกันอยู่ระหว่าง 25 ถึง 52 ms คู่มือเตือนว่าการถ่ายโอน KV-cache ที่ช้าจะส่งผลต่อทุกโทเคนแรก และบนเครื่องทดสอบที่ไม่มีการคัดลอกแบบ peer-to-peer แคชประมาณ 470 MB ของแต่ละพรอมต์ 8k ใช้เวลาประมาณ 1.3 วินาทีในการย้าย
แหล่งข่าว:Hacker News · AI · vllm.ai