OpenRouter ทดสอบ reranker 11 ตัวบนชุดทดสอบ RAG 274 คำถาม

OpenRouter ทดสอบ reranker 11 ตัวบนชุดข้อมูล RAG สังเคราะห์ 274 คำถาม และพบว่าการ rerank ผู้สมัคร 30 อันดับแรกจาก vector search ด้วย voyageai/rerank-3-lite ช่วยเพิ่ม precision@1 จาก 81.0% เป็น 97.1% ด้วยต้นทุนประมาณ $0.10 ต่อ 1,000 คำถาม คู่มือแนะนำให้ดึงข้อมูลประมาณ 30 chunks แล้ว rerank จากนั้นส่งเฉพาะ 3 อันดับแรกให้ LLM ซึ่งในการทดสอบช่วยเพิ่มความแม่นยำของคำตอบเป็น 99.3% พร้อมลดต้นทุนการตอบจาก $0.22 เหลือ $0.16 ต่อ 1,000 คำถาม นอกจากนี้ยังชี้ให้เห็นโหมดความล้มเหลว: การละเว้นพารามิเตอร์ input_type ทำให้ precision@1 ลดลง 7 ถึง 12 คะแนน และ cohere/rerank-v3.5 เพิกเฉยต่อเนื้อหาที่เกินขีดจำกัด 4,096 โทเคนโดยไม่แจ้งเตือน