OpenRouter benchmarks 11 rerankers on 274-question RAG test
此內容暫無English版本，目前顯示的是English版本。
先了解這件事
OpenRouter published a tutorial and benchmark comparing 11 rerankers for retrieval-augmented generation (RAG) pipelines. On a 274-question synthetic benchmark, plain vector search with google/gemini-embedding-2 placed the exact right chunk first 81.0% of the time; reranking the top 30 candidates with voyageai/rerank-3-lite raised that to 97.1% for about $0.10 per 1,000 queries. OpenRouter recommends retrieving about 30 chunks, reranking them, and passing only the top 3 to the LLM, which in its test raised answer accuracy to 99.3% and cut answering cost from $0.22 to $0.16 per 1,000 questions. OpenRouter cautions that the test used a small synthetic dataset, so real-world gains depend on the user's documents. It also reports two failure modes: omitting the input_type parameter cost 7 to 12 points of precision@1, and cohere/rerank-v3.5 silently ignores content beyond its 4,096-token limit.
AI 依報導生成 · 11 小時前更新
報導時間線
沿著報導，了解事件的不同側面。
- OpenRouter AnnouncementsOpenRouter 在 274 題 RAG 基準上測試 11 個重排器
OpenRouter 在一個 274 題的合成 RAG 資料集上對 11 個重排器進行了基準測試，發現用 voyageai/rerank-3-lite 對向量搜尋的前 30 個候選進行重排，可將 precision@1 從 81.0% 提升到 97.1%，每 1,000 次查詢成本約 $0.10。該指南建議檢索約 30 個片段、對其重排，並只將前 3 個傳送給 LLM，在其測試中這將答案準確率提升到 99.3%，同時將每 1,000 個問題的作答成本從 $0.22 降到 $0.16。它還指出了失敗模式：省略 input_type 參數會損失 7 到 12 個百分點的 precision@1，而 cohere/rerank-v3.5 會默默忽略超出其 4,096 token 限制的內容。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。