Modal Research 與 HeavyBall 的 MRP 將多 token 預測引入擴散語言模型

Modal Research 與 NYU Shanghai 的 HeavyBall Research 推出 Multi-token Residual Prediction（MRP），這是一個接在凍結擴散語言模型主幹上的 3 層模組，預測的是步驟間的 logit 殘差，而非完整的下一步分布。在 SDAR-4B GSM8K 上，MRP 在 K=3 時保持 70.9% 準確率，而樸素 MTP 蒸餾僅為 5.9%；在 SGLang 中，推測模式下可無損達到最高 1.56 倍吞吐量，或在激進的低閾值動態解碼下挽回最高 +16 個準確率點。論文、程式碼、SGLang 實作以及 Hugging Face 上的 SDAR-MRP 模型均已發布。