OpenRouter 在 274 題 RAG 基準上測試 11 個重排器

OpenRouter 在一個 274 題的合成 RAG 資料集上對 11 個重排器進行了基準測試，發現用 voyageai/rerank-3-lite 對向量搜尋的前 30 個候選進行重排，可將 precision@1 從 81.0% 提升到 97.1%，每 1,000 次查詢成本約 $0.10。該指南建議檢索約 30 個片段、對其重排，並只將前 3 個傳送給 LLM，在其測試中這將答案準確率提升到 99.3%，同時將每 1,000 個問題的作答成本從 $0.22 降到 $0.16。它還指出了失敗模式：省略 input_type 參數會損失 7 到 12 個百分點的 precision@1，而 cohere/rerank-v3.5 會默默忽略超出其 4,096 token 限制的內容。