Google đánh giá các bộ phân loại giá rẻ để định tuyến mô hình Gemini theo chi phí mỗi tác vụ
Google đã chạy một bài đánh giá tác nhân lập trình tự động chấm gồm 50 câu hỏi để kiểm tra liệu một bộ phân loại nhẹ, Jev của TypeSafe, có thể định tuyến từng tác vụ đến cấu hình Gemini rẻ nhất mà vẫn trả lời đúng hay không. Một heuristic regex cố định và độ dài prompt đạt 93,8% trên 16 câu hỏi phát triển nhưng giảm 23,2 điểm xuống 70,6% trên 34 tác vụ giữ lại, trong khi Jev đạt 96,0% trên toàn bộ bộ kiểm thử. Thiết lập không định tuyến mạnh nhất, Gemini 3.8 Flash ở chế độ suy nghĩ thấp, giải được tất cả 50 tác vụ, và một bộ định tuyến Jev gửi tác vụ đến Flash-Lite trước rồi nâng cấp những tác vụ bị gắn cờ cũng giải được tất cả 50 tác vụ trong khi giảm chi phí và thời gian phản hồi; giới hạn maxOutputTokens ở 300 không tiết kiệm gì trên các tác vụ dễ và làm hỏng 7 trong số 25 tác vụ khó.