Modal Research 与 HeavyBall 的 MRP 将多 token 预测引入扩散语言模型

Modal Research 与上海纽约大学的 HeavyBall Research 推出多 token 残差预测（MRP），这是一个附加在冻结扩散语言模型主干上的 3 层模块，预测步间 logit 残差而非完整的下一步分布。在 SDAR-4B GSM8K 上，MRP 在 K=3 时保持 70.9% 的准确率，而朴素 MTP 蒸馏仅为 5.9%；在 SGLang 中，推测模式下可实现最高 1.56 倍的无损吞吐提升，或在激进低阈值动态解码下最多恢复 +16 个准确率点。论文、代码、SGLang 实现以及 Hugging Face 上的 SDAR-MRP 模型均已发布。