Modal và Phòng thí nghiệm Dữ liệu Toàn diện của CMU ra mắt Quail, một engine suy luận AI-SQL tối ưu hóa đồng thời query planner và suy luận

Modal và Phòng thí nghiệm Dữ liệu Toàn diện thuộc Đại học Carnegie Mellon đã xây dựng Quail, một engine suy luận nhận biết truy vấn cho các khối lượng công việc AI-SQL, tối ưu hóa đồng thời query planner SQL và engine suy luận. Trên một truy vấn đa phép nối, nó xử lý hơn một tỷ token mỗi phút trên mỗi GPU H100, nhanh hơn hơn 10 lần so với baseline vLLM của Modal trên cùng phần cứng, với chi phí dưới 6¢ mỗi tỷ token; trên benchmark AI-SQL mới của nhóm, nó chạy nhanh hơn 1,84 lần so với vLLM theo trung bình nhân trên các tác vụ. Vì các phép lọc và phép nối trong AI-SQL chỉ cần một token duy nhất mỗi chuỗi, Quail bỏ qua decode, sampling và phân tách prefill-decode, đồng thời sử dụng query plan đã biết để sắp xếp thứ tự yêu cầu và quản lý việc loại bỏ KV cache.