OpenRouter 在 274 题 RAG 基准上测试 11 个重排序器

OpenRouter 在一个 274 题的合成 RAG 数据集上对 11 个重排序器进行了基准测试，发现用 voyageai/rerank-3-lite 对向量检索的前 30 个候选进行重排序，可将 precision@1 从 81.0% 提升到 97.1%，成本约为每 1,000 次查询 0.10 美元。该指南建议检索约 30 个片段，对其进行重排序，只将前 3 个发送给 LLM，在其测试中将答案准确率提升到 99.3%，同时将每 1,000 个问题的回答成本从 0.22 美元降至 0.16 美元。它还指出了失败模式：省略 input_type 参数会损失 7 到 12 个百分点的 precision@1，而 cohere/rerank-v3.5 会静默忽略超出其 4,096 token 限制的内容。