Modal 推出 Auto Endpoints，以推測性解碼實現業界頂尖的推論延遲

Modal 推出 Modal Auto Endpoints，一鍵將 Modal 的基礎設施擴展能力帶到業界頂尖的推論效能，同時保留對程式碼的控制權。Modal 表示，主要的延遲改善來自搭配自訂 DFlash 推測器模型的推測性解碼，在 Decagon Voice 案例研究中將端到端延遲降低約 100ms，約佔伺服器端解碼延遲的 40%，使其比最快的專有替代方案快逾 60ms。Modal 也與 Z Lab 和 SGLang 共同發布開源 DFlash 推測器模型，其中包括一款針對 Qwen 3.5 397B-A17B 的模型，相較於 MTP 提升超過 50%。