Modal และ Full Stack Data Lab ของ CMU เปิดตัว Quail เครื่องยนต์อนุมาน AI-SQL ที่ปรับแต่งทั้ง query planner และการอนุมานร่วมกัน

Modal และ Full Stack Data Lab ของ Carnegie Mellon University สร้าง Quail ซึ่งเป็นเครื่องยนต์อนุมานที่ตระหนักถึงคิวรีสำหรับงาน AI-SQL ที่ปรับแต่งทั้ง SQL query planner และเครื่องยนต์อนุมานร่วมกัน บนคิวรีแบบ multi-join หนึ่งรายการ มันประมวลผลได้มากกว่าหนึ่งพันล้านโทเคนต่อนาทีต่อ GPU H100 เร็วกว่า vLLM baseline ของ Modal บนฮาร์ดแวร์เดียวกันมากกว่า 10 เท่า ด้วยต้นทุนต่ำกว่า 6 เซนต์ต่อหนึ่งพันล้านโทเคน บน AI-SQL benchmark ใหม่ของทีม มันทำงานเร็วกว่า vLLM 1.84 เท่าเมื่อเฉลี่ยเชิงเรขาคณิตข้ามงาน เนื่องจากตัวกรองและ join ของ AI-SQL ต้องการเพียงโทเคนเดียวต่อลำดับ Quail จึงข้าม decode, sampling และการแยก prefill-decode และใช้ query plan ที่ทราบอยู่แล้วเพื่อจัดลำดับคำขอและจัดการการขับ KV cache