Modal 在 Qwen3.6-35B-A3B 上测试混合精度、混合加速器 RL 采样器

Modal 在 agentic coding 任务上训练 Qwen3.6-35B-A3B，采样器分布在六种加速器类型（B200、B300、H100、H200、A100、RTX PRO 6000）上，采用 NVFP4、FP8 和 BF16 精度，向 B200 上的单个 BF16 训练器供给数据。普通 GRPO 在混合与同构采样器上均崩溃，但加入掩码重要性采样加分数中心化（无论是否配合 top-p 掩码重放）后，训练稳定进行到最后，并在 SWE-bench Pro V2 pass@4 上达到与同构采样器相当的水平，每次更新的采样器成本约低 15%。混合采样器运行时的平均采样器-训练器 KL 是同构设置的 4.7 倍，作者认为稳定性取决于将失配保持在有界范围内，而非保持低值。