vLLM รัน DeepSeek-V4.1-Flash บน Vera Rubin NVL72 ด้วยทรูพุต 58 เท่าของ GB300
เริ่มตรงนี้
vLLM รายงานว่าให้บริการ DeepSeek-V4.1-Flash บนแร็ค NVIDIA Vera Rubin NVL72 เดียวที่ 1.7M โทเคน/วินาทีต่อ GPU และ 387 โทเคน/วินาทีต่อผู้ใช้ ซึ่งระบุว่าเป็นทรูพุต 58 เท่าของ GB300 NVL72 ตัวเลขสูงสุดอยู่ที่ 2.52M โทเคน/วินาทีทั้งแร็ค และ 1,810 โทเคน/วินาทีสำหรับผู้ใช้รายเดียว ตามข้อมูลของ vLLM ผลตอบแทนที่ได้มาจากเคอร์เนลที่สร้างใหม่สำหรับโดเมนหน่วยความจำแยกของ Rubin และเทนเซอร์คอร์ FP4 เส้นทางการถอดรหัส TP8 เฉพาะทาง และพูล KV และ Engram ทั้งแร็คที่แชร์ผ่าน NVLink ด้วยการรวมพรีฟิกซ์ทั่วทั้งแร็คและการกำหนดเส้นทางตามภาระงานของ Dynamo vLLM ระบุว่าอัตราการเข้าถึงพรีฟิกซ์คงอยู่ที่ 96.5–97% แม้ในสภาวะการทำงานพร้อมกันสูง
สร้างจากรายงาน · อัปเดต 2 วันที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- vLLM BlogคัดสรรvLLM ให้บริการ DeepSeek-V4.1-Flash บน Vera Rubin NVL72 ด้วยปริมาณงาน吞吐 58 เท่าของ GB300 NVL72
vLLM รายงานการให้บริการ DeepSeek-V4.1-Flash บนตู้แร็ค NVIDIA Vera Rubin NVL72 เพียงตู้เดียว ด้วยอัตรา 1.7M โทเคน/วินาที ต่อ GPU และ 387 โทเคน/วินาที ต่อผู้ใช้ คิดเป็น 58 เท่าของ GB300 NVL72 โดยพุ่งสูงสุดที่ 2.52M โทเคน/วินาที และ 1,810 โทเคน/วินาทีสำหรับผู้ใช้รายเดียว ผลตอบแทนที่ได้มาจากเคอร์เนลที่สร้างใหม่สำหรับโดเมนหน่วยความจำแยกส่วนของ Rubin และเทนเซอร์คอร์ FP4 เส้นทางการถอดรหัส TP8 เฉพาะทาง และพูล KV และ Engram ทั่วทั้งแร็คที่แชร์ผ่าน NVLink ด้วยการรวมพูลคำนำหน้าทั่วทั้งแร็คและการกำหนดเส้นทางตามภาระงานของ Dynamo อัตราการเข้าถึงคำนำหน้าจึงคงอยู่ที่ 96.5-97% แม้ในสภาวะที่มีการทำงานพร้อมกันสูง
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม