Modal 推出 Auto Endpoints，用于自助式、兼容 OpenAI API 的 LLM 推理

Modal 推出了 Auto Endpoints，这是一项自助式服务，可将生产级 LLM 推理部署为兼容 OpenAI API 的端点，并由用户可见且可控的 Modal App 提供支持。每个受支持的模型都附带一个初始部署，该部署根据 Modal 自身的基准测试进行调优，使用 SGLang 等引擎以及来自 Z Lab 的 DFlash 推测解码草稿器，用户可以查看 GPU 选择、引擎标志以及 TTFT、ITL 和推测解码接受长度等推理指标。Modal 还将 Modal Servers 从测试版发布，用于提供开销为 5ms 的区域化路由，并表示它通过一个仍由人类工程师监控的内部智能体系统来生成端点部署。