Modal thử nghiệm bộ lấy mẫu RL hỗn hợp độ chính xác và hỗn hợp tăng tốc trên Qwen3.6-35B-A3B

Modal đã huấn luyện Qwen3.6-35B-A3B trên tác vụ lập trình dạng agent với các bộ lấy mẫu trải rộng trên sáu loại tăng tốc (B200, B300, H100, H200, A100, RTX PRO 6000) ở độ chính xác NVFP4, FP8 và BF16, cấp dữ liệu cho một bộ huấn luyện BF16 trên B200. GRPO thuần đã sụp đổ trên cả bộ lấy mẫu hỗn hợp lẫn đồng nhất, nhưng khi thêm lấy mẫu quan trọng có mặt nạ cùng căn giữa điểm số, dù có hay không có phát lại mặt nạ top-p, quá trình huấn luyện vẫn ổn định đến cuối và đạt pass@4 trên SWE-bench Pro V2 ngang với bộ lấy mẫu đồng nhất, với chi phí bộ lấy mẫu mỗi lần cập nhật thấp hơn khoảng 15%. Các bộ lấy mẫu hỗn hợp chạy với KL trung bình giữa bộ lấy mẫu và bộ huấn luyện gấp 4,7 lần so với thiết lập đồng nhất, và các tác giả lập luận rằng tính ổn định phụ thuộc vào việc giữ độ lệch ở mức có giới hạn chứ không phải ở mức thấp.