Modal ทดสอบ RL sampler แบบ mixed-precision และ mixed-accelerator บน Qwen3.6-35B-A3B

Modal เทรน Qwen3.6-35B-A3B ด้าน agentic coding โดยกระจาย sampler ไปยัง accelerator หกประเภท (B200, B300, H100, H200, A100, RTX PRO 6000) ที่ความแม่นยำ NVFP4, FP8 และ BF16 ป้อนเข้า trainer แบบ BF16 หนึ่งตัวบน B200 GRPO แบบธรรมดาล้มเหลวทั้งบน sampler แบบผสมและแบบ homogeneous แต่เมื่อเพิ่ม masked importance sampling พร้อม score centering ไม่ว่าจะมีหรือไม่มี top-p mask replay ก็เทรนได้เสถียรจนจบและไปถึง SWE-bench Pro V2 pass@4 เทียบเท่า sampler แบบ homogeneous โดยมีต้นทุน sampler ต่อการอัปเดตต่ำลงราว 15% sampler แบบผสมทำงานด้วยค่า KL เฉลี่ยระหว่าง sampler กับ trainer สูงเป็น 4.7 เท่าของการตั้งค่าแบบ homogeneous และผู้เขียนโต้ว่าเสถียรภาพขึ้นอยู่กับการรักษาความคลาดเคลื่อนให้มีขอบเขตจำกัด มากกว่าการทำให้ต่ำ