Thinking Machines Lab 描述 Inkling 2 Small 的端到端 4 位元訓練

Thinking Machines Lab 以原生 4 位元前向傳播端到端訓練 Inkling 2 Small，在前向傳播的 MoE 專家層使用 NVFP4，反向傳播則使用 MXFP8 搭配隨機捨入。該實驗室表示，相較於完整的 MXFP8 訓練，這套方法在預訓練帶來 8% 的實際耗時加速、在 RL 帶來 20% 的加速，代價是預訓練的運算效率約降低 2%；Inkling 2 Small 是在 GB300 NVL72 機架上以 68 小時完成預訓練。