ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

ทีม vLLM เผยแพร่คู่มือการให้บริการแบบแยกส่วน

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 16 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

ทีม vLLM เผยแพร่คู่มือปฏิบัติสำหรับการให้บริการแบบแยกส่วนใน vLLM v0.31.0 และเวอร์ชันหลังจากนั้น โดยแยก prefill, decode และการเรนเดอร์ฝั่ง CPU ออกเป็นบริการแยกกัน ในการทดสอบบน GPU NVIDIA L40S สองตัวด้วย Qwen2.5-7B-Instruct และพรอมต์ประมาณ 8k โทเคน ความหน่วงระหว่างโทเคน p99 แบบ collocated เพิ่มขึ้นจาก 23 ms เป็น 169 ms ที่ 0.4 req/s ขณะที่การตั้งค่า prefill/decode อยู่ระหว่าง 25 ถึง 52 ms คู่มือเตือนว่าการถ่ายโอน KV-cache ที่ช้าส่งผลต่อทุกโทเคนแรก: บนเครื่องทดสอบซึ่งไม่มีการคัดลอกแบบ peer-to-peer การย้ายแคชประมาณ 470 MB ของแต่ละพรอมต์ 8k ใช้เวลาประมาณ 1.3 วินาที คู่มือครอบคลุมว่าแต่ละการแยกส่วนคุ้มค่าที่จะใช้เมื่อใดและวิธีรัน โดยพร็อกซีใน tests/ ถูกระบุว่าเหมาะสำหรับการพัฒนาแต่ไม่ใช่สำหรับโปรดักชัน

สร้างจากรายงาน · อัปเดต 16 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

19 พฤศจิกายน
  1. Hacker News · AI
    คู่มือ vLLM อธิบายการให้บริการแบบแยกส่วนสำหรับ prefill, decode และการเรนเดอร์บน CPU

    ทีม vLLM เผยแพร่คู่มือเชิงปฏิบัติสำหรับการให้บริการแบบแยกส่วนใน vLLM v0.31.0 และเวอร์ชันใหม่กว่า โดยแยก prefill, decode และการเรนเดอร์ฝั่ง CPU ออกเป็นบริการแยกกัน บน GPU NVIDIA L40S สองตัวกับ Qwen2.5-7B-Instruct และพรอมต์ประมาณ 8k โทเคน เมื่อใช้การติดตั้งแบบรวมศูนย์ ค่า p99 inter-token latency พุ่งจาก 23 ms เป็น 169 ms ที่ 0.4 req/s ขณะที่การตั้งค่า prefill/decode แยกกันอยู่ระหว่าง 25 ถึง 52 ms คู่มือเตือนว่าการถ่ายโอน KV-cache ที่ช้าจะส่งผลต่อทุกโทเคนแรก และบนเครื่องทดสอบที่ไม่มีการคัดลอกแบบ peer-to-peer แคชประมาณ 470 MB ของแต่ละพรอมต์ 8k ใช้เวลาประมาณ 1.3 วินาทีในการย้าย

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
6
จุดสูงสุดในช่วงที่เทียบได้
1019 พฤศจิกายน 12:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู