Thinking Machines Lab mô tả quá trình huấn luyện 4-bit end-to-end cho Inkling 2 Small

Thinking Machines Lab đã huấn luyện Inkling 2 Small end-to-end với forward pass 4-bit gốc, sử dụng NVFP4 trong các lớp expert MoE cho forward pass và MXFP8 với làm tròn ngẫu nhiên cho các backward pass. Lab cho biết công thức này mang lại tốc độ nhanh hơn 8% wall-clock trong pretraining và 20% trong RL so với huấn luyện MXFP8 đầy đủ, với chi phí khoảng 2% hiệu quả tính toán trong pretraining, và Inkling 2 Small đã được pretrain trong 68 giờ trên các rack GB300 NVL72.