Modal 在 Qwen3.6-35B-A3B 上測試混合精度、混合加速器的 RL 取樣器

Modal 在代理式編碼任務上訓練 Qwen3.6-35B-A3B，取樣器分散於六種加速器類型（B200、B300、H100、H200、A100、RTX PRO 6000），精度涵蓋 NVFP4、FP8 與 BF16，並將資料饋入一個位於 B200 上的 BF16 訓練器。樸素的 GRPO 在混合與同質取樣器上皆崩潰，但加入遮罩式重要性取樣與分數中心化（無論是否搭配 top-p 遮罩重播）後，訓練穩定進行至結束，並在 SWE-bench Pro V2 pass@4 上達到與同質取樣器相當的水準，每次更新的取樣器成本約低 15%。混合取樣器的取樣器與訓練器平均 KL 為同質設定的 4.7 倍，作者主張穩定性取決於將不匹配程度維持在有界範圍內，而非維持在低水準。