vLLM ให้บริการ DeepSeek-V4.1-Flash บน Vera Rubin NVL72 ด้วยปริมาณงาน吞吐 58 เท่าของ GB300 NVL72
DeepSeek-V4.1-Flash on Vera Rubin NVL72: 58x Throughput vs. GB300 NVL72 at 387 tokens/s
vLLM รายงานการให้บริการ DeepSeek-V4.1-Flash บนตู้แร็ค NVIDIA Vera Rubin NVL72 เพียงตู้เดียวที่ 1.7M โทเคน/วินาที ต่อ GPU และ 387 โทเคน/วินาที ต่อผู้ใช้ คิดเป็น 58 เท่าของ GB300 NVL72 โดยพุ่งสูงสุดที่ 2.52M โทเคน/วินาที และ 1,810 โทเคน/วินาทีสำหรับผู้ใช้รายเดียว ผลตอบแทนเหล่านี้มาจากเคอร์เนลที่สร้างใหม่สำหรับโดเมนหน่วยความจำแยกส่วนและเทนเซอร์คอร์ FP4 ของ Rubin เส้นทางการถอดรหัส TP8 เฉพาะทาง และพูล KV และ Engram ทั่วทั้งแร็คที่แชร์ผ่าน NVLink ด้วยการรวมคำนำหน้า (prefix) ทั่วทั้งแร็คและการกำหนดเส้นทางตามภาระงานของ Dynamo อัตราการเข้าถึงคำนำหน้าจึงคงอยู่ที่ 96.5-97% แม้ในสภาวะที่มีการทำงานพร้อมกันสูง
โพสต์ที่สามของ vLLM เกี่ยวกับ DeepSeek-V4.1-Flash อธิบายรายละเอียดว่าเคอร์เนลเฉพาะสำหรับ Rubin และการรวมหน่วยความจำทั่วทั้งแร็คช่วยเพิ่มปริมาณงาน吞吐ได้ 58 เท่าเมื่อเทียบกับ GB300 NVL72 ซึ่งเป็นข้อมูลอ้างอิงที่เป็นรูปธรรมสำหรับการปรับแต่งการให้บริการในระดับขนาดใหญ่
แหล่งข่าว:vLLM Blog · vllm.ai