Tới nội dung
Chỉ Chính chủ#DeepSeek
  1. vLLM Blog72

    vLLM phục vụ DeepSeek-V4.1-Flash trên Vera Rubin NVL72 với thông lượng gấp 58 lần GB300 NVL72

    vLLM báo cáo việc phục vụ DeepSeek-V4.1-Flash trên một rack NVIDIA Vera Rubin NVL72 duy nhất đạt 1,7M token/s mỗi GPU với 387 token/s mỗi người dùng, gấp 58 lần GB300 NVL72, đạt đỉnh 2,52M token/s và 1.810 token/s cho một người dùng. Mức tăng đến từ các kernel được xây dựng lại cho các miền bộ nhớ tách biệt của Rubin và lõi tensor FP4, một đường giải mã TP8 chuyên dụng, và các pool KV và Engram toàn rack chia sẻ qua NVLink. Với các tiền tố được gộp chung trên toàn rack và định tuyến nhận biết khối lượng công việc của Dynamo, tỷ lệ trúng tiền tố giữ ở mức 96,5-97% ngay cả ở mức đồng thời cao.

    Vì sao đáng chú ý: Bài đăng thứ ba của vLLM về DeepSeek-V4.1-Flash trình bày chi tiết cách các kernel dành riêng cho Rubin và gộp bộ nhớ toàn rack nâng thông lượng gấp 58 lần so với GB300 NVL72, mang lại một tham chiếu cụ thể cho tối ưu hóa phục vụ quy mô lớn.

  1. vLLM Blog77

    REINFORCE Zero: Căn chỉnh kernel cho phép Async RL ổn định ở Policy Lag 64, mở rộng sang DeepSeek-V4.1 và Kimi K3.1

    Bài báo REINFORCE Zero của NVIDIA Research và Inferact cho thấy việc căn chỉnh kernel của rollout và trainer cho phép lấy mẫu quan trọng ở mức token không cắt (unclipped token-level importance sampling) hiệu chỉnh độ trễ trọng số còn lại, huấn luyện ổn định qua 20.000 lần cập nhật ở policy lag 64 và đạt thông lượng bước huấn luyện gấp 2,40 lần so với huấn luyện đồng bộ với kernel đã căn chỉnh. Với kernel tiêu chuẩn, KL trung vị từ rollout đến learner tăng 83,33 lần trong suốt quá trình chạy và pass@1 trực tuyến trên AIME24 giảm từ 34,27% xuống 13,96%, trong khi một sequence gate giúp ổn định huấn luyện nhưng loại bỏ 24,48% chuỗi tính đến 1.000 lần cập nhật cuối. Thiết lập zero-mismatch hiện bao phủ DeepSeek-V4.1-Flash, Kimi K3.1 vào ngày phát hành, cùng DeepSeek-V4-Flash và Kimi K3.1 trên AMD MI355X, với mã nguồn tại Inferact/zero-mismatch-rl và NVIDIA-NeMo/labs-molt.

    Vì sao đáng chú ý: NVIDIA Research và Inferact tách khoảng cách giữa rollout và learner trong async RL thành độ trễ trọng số và sự không khớp kernel, cho thấy việc căn chỉnh kernel cho phép lấy mẫu quan trọng không cắt duy trì huấn luyện ổn định ở policy lag 64.

Bạn đã xem hết