Thinking Machines Lab อธิบายการฝึกแบบ 4-bit แบบ end-to-end ของ Inkling 2 Small

Thinking Machines Lab ฝึก Inkling 2 Small แบบ end-to-end ด้วย forward pass แบบ 4-bit โดยกำเนิด ใช้ NVFP4 ในเลเยอร์ MoE expert สำหรับ forward pass และ MXFP8 พร้อม stochastic rounding สำหรับ backward pass แล็บระบุว่าสูตรนี้ให้ความเร็ว wall-clock เพิ่มขึ้น 8% ในการ pretraining และ 20% ในการ RL เมื่อเทียบกับการฝึก MXFP8 เต็มรูปแบบ โดยแลกกับประสิทธิภาพการคำนวณประมาณ 2% ในการ pretraining และ Inkling 2 Small ถูก pretrain ใน 68 ชั่วโมงบนตู้ GB300 NVL72