Google ทดสอบคลาสซิฟายเออร์ราคาถูกเพื่อจัดเส้นทางโมเดล Gemini ตามต้นทุนต่องาน
Google ได้รันเบนช์มาร์กเอเจนต์เขียนโค้ด 50 ข้อที่ตรวจอัตโนมัติ เพื่อทดสอบว่าคลาสซิฟายเออร์น้ำหนักเบาชื่อ Jev ของ TypeSafe สามารถจัดเส้นทางแต่ละงานไปยังการตั้งค่า Gemini ที่ถูกที่สุดซึ่งยังตอบถูกได้หรือไม่ regex แบบคงที่และฮิวริสติกตามความยาวพรอมป์ทำคะแนนได้ 93.8% บนคำถามพัฒนา 16 ข้อ แต่ลดลง 23.2 จุดเหลือ 70.6% บนงานที่กันไว้ทดสอบ 34 งาน ขณะที่ Jev ทำได้ 96.0% across ชุดทดสอบทั้งหมด การตั้งค่าที่ไม่มีเราเตอร์ที่แข็งแกร่งที่สุด คือ Gemini 3.8 Flash โหมดคิดต่ำ แก้ได้ทั้ง 50 งาน และเราเตอร์ Jev ที่ส่งงานไปยัง Flash-Lite ก่อนแล้วยกระดับงานที่ถูกตั้งธงก็แก้ได้ทั้ง 50 งานเช่นกัน พร้อมลดต้นทุนและเวลาตอบสนอง การจำกัด maxOutputTokens ที่ 300 ไม่ประหยัดอะไรบนงานง่าย และทำให้ 7 จาก 25 งานยากพัง