Modal 推出 Auto Endpoints，称采用推测解码实现业界领先的推理延迟

Modal 正在推出 Modal Auto Endpoints，只需一键即可将 Modal 的基础设施扩展能力与业界领先的推理性能相结合，同时保留对代码的控制权。Modal 表示，主要的延迟收益来自使用自定义 DFlash 推测器模型的推测解码；在 Decagon Voice 的案例研究中，这将端到端延迟降低了约 100ms，约占服务端解码延迟的 40%，使其比最快的专有替代方案快 60ms 以上。Modal 还与 Z Lab 和 SGLang 一起发布了开源 DFlash 推测器模型，其中包括一个用于 Qwen 3.5 397B-A17B 的模型，其性能比 MTP 提升超过 50%。