OpenRouter benchmarks 11 rerankers on 274-question RAG test
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
OpenRouter published a tutorial and benchmark comparing 11 rerankers for retrieval-augmented generation (RAG) pipelines. On a 274-question synthetic benchmark, plain vector search with google/gemini-embedding-2 placed the exact right chunk first 81.0% of the time; reranking the top 30 candidates with voyageai/rerank-3-lite raised that to 97.1% for about $0.10 per 1,000 queries. OpenRouter recommends retrieving about 30 chunks, reranking them, and passing only the top 3 to the LLM, which in its test raised answer accuracy to 99.3% and cut answering cost from $0.22 to $0.16 per 1,000 questions. OpenRouter cautions that the test used a small synthetic dataset, so real-world gains depend on the user's documents. It also reports two failure modes: omitting the input_type parameter cost 7 to 12 points of precision@1, and cohere/rerank-v3.5 silently ignores content beyond its 4,096-token limit.
สร้างจากรายงาน · อัปเดต 10 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- OpenRouter AnnouncementsOpenRouter ทดสอบ reranker 11 ตัวบนชุดทดสอบ RAG 274 คำถาม
OpenRouter ทดสอบ reranker 11 ตัวบนชุดข้อมูล RAG สังเคราะห์ 274 คำถาม และพบว่าการ rerank ผู้สมัคร 30 อันดับแรกจาก vector search ด้วย voyageai/rerank-3-lite ช่วยเพิ่ม precision@1 จาก 81.0% เป็น 97.1% ด้วยต้นทุนประมาณ $0.10 ต่อ 1,000 คำถาม คู่มือแนะนำให้ดึงข้อมูลประมาณ 30 chunks แล้ว rerank จากนั้นส่งเฉพาะ 3 อันดับแรกให้ LLM ซึ่งในการทดสอบช่วยเพิ่มความแม่นยำของคำตอบเป็น 99.3% พร้อมลดต้นทุนการตอบจาก $0.22 เหลือ $0.16 ต่อ 1,000 คำถาม นอกจากนี้ยังชี้ให้เห็นโหมดความล้มเหลว: การละเว้นพารามิเตอร์ input_type ทำให้ precision@1 ลดลง 7 ถึง 12 คะแนน และ cohere/rerank-v3.5 เพิกเฉยต่อเนื้อหาที่เกินขีดจำกัด 4,096 โทเคนโดยไม่แจ้งเตือน
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม