Modal 与 CMU 全栈数据实验室发布 Quail：一款联合优化查询规划器与推理的 AI-SQL 推理引擎

Modal 与卡内基梅隆大学全栈数据实验室构建了 Quail，这是一款面向 AI-SQL 工作负载的查询感知推理引擎，可联合优化 SQL 查询规划器与推理引擎。在一条多连接查询上，它每块 H100 GPU 每分钟可处理超过十亿个 token，比 Modal 在同一硬件上的 vLLM 基线快 10 倍以上，每十亿 token 成本低于 6 美分；在团队新推出的 AI-SQL 基准测试上，按任务几何平均计算，它比 vLLM 快 1.84 倍。由于 AI-SQL 的过滤和连接每个序列只需一个 token，Quail 跳过了解码、采样以及预填充-解码分离，并利用已知的查询计划来排序请求和管理 KV 缓存淘汰。