Modal 與 CMU 的 Full Stack Data Lab 發布 Quail，一款聯合優化查詢規劃器與推理的 AI-SQL 推理引擎

Modal 與卡內基美隆大學的 Full Stack Data Lab 打造了 Quail，一款針對 AI-SQL 工作負載的查詢感知推理引擎，聯合優化 SQL 查詢規劃器與推理引擎。在一個多重 join 查詢上，它每張 H100 GPU 每分鐘處理超過十億個 token，比同一硬體上 Modal 的 vLLM 基線快 10 倍以上，每十億 token 成本低於 6 美分；在團隊新的 AI-SQL 基準測試上，其幾何平均速度比 vLLM 快 1.84 倍。由於 AI-SQL 的過濾與 join 每個序列只需一個 token，Quail 跳過解碼、取樣與 prefill-decode 分離，並利用已知的查詢計畫來排序請求與管理 KV 快取淘汰。