Thinking Machines Lab 介绍 Inkling 2 Small 的端到端 4 比特训练

Thinking Machines Lab 以原生 4 比特前向传播对 Inkling 2 Small 进行了端到端训练，在前向传播的 MoE 专家层中使用 NVFP4，在反向传播中使用带随机舍入的 MXFP8。该实验室表示，与完整的 MXFP8 训练相比，该方案在预训练中带来了 8% 的挂钟时间加速，在强化学习中带来了 20% 的加速，代价是预训练中约 2% 的计算效率损失；Inkling 2 Small 在 GB300 NVL72 机架上用 68 小时完成了预训练。