vLLM chạy DeepSeek-V4.1-Flash trên Vera Rubin NVL72 với thông lượng gấp 58 lần GB300
Bắt đầu từ đây
vLLM báo cáo rằng họ đã phục vụ DeepSeek-V4.1-Flash trên một rack NVIDIA Vera Rubin NVL72 duy nhất với 1,7M token/giây mỗi GPU và 387 token/giây mỗi người dùng, mà họ nói là gấp 58 lần thông lượng của GB300 NVL72. Các con số đỉnh là 2,52M token/giây toàn rack và 1.810 token/giây cho một người dùng đơn lẻ. Theo vLLM, mức tăng đến từ các kernel được xây dựng lại cho các miền bộ nhớ tách rời của Rubin và lõi tensor FP4, một đường giải mã TP8 chuyên dụng, và các pool KV và Engram toàn rack được chia sẻ qua NVLink. Với các tiền tố được gộp chung trên toàn rack và định tuyến nhận biết khối lượng công việc của Dynamo, vLLM cho biết tỷ lệ trúng tiền tố duy trì ở mức 96,5–97% ngay cả ở mức đồng thời cao.
Tạo từ các bài viết · cập nhật 13 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- vLLM BlogTuyển chọnvLLM phục vụ DeepSeek-V4.1-Flash trên Vera Rubin NVL72 với thông lượng gấp 58 lần GB300 NVL72
vLLM báo cáo việc phục vụ DeepSeek-V4.1-Flash trên một rack NVIDIA Vera Rubin NVL72 duy nhất đạt 1,7M token/s mỗi GPU với 387 token/s mỗi người dùng, gấp 58 lần GB300 NVL72, đạt đỉnh 2,52M token/s và 1.810 token/s cho một người dùng. Mức tăng đến từ các kernel được xây dựng lại cho các miền bộ nhớ tách biệt của Rubin và lõi tensor FP4, một đường giải mã TP8 chuyên dụng, và các pool KV và Engram toàn rack chia sẻ qua NVLink. Với các tiền tố được gộp chung trên toàn rack và định tuyến nhận biết khối lượng công việc của Dynamo, tỷ lệ trúng tiền tố giữ ở mức 96,5-97% ngay cả ở mức đồng thời cao.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.