OpenRouter 在 274 题 RAG 测试中对 11 个重排序器进行基准测试
先了解这件事
OpenRouter 发布教程与基准测试，比较用于检索增强生成（RAG）流水线的 11 个重排序器。在一个 274 题的合成基准上，使用 google/gemini-embedding-2 的纯向量搜索有 81.0% 的概率将完全正确的片段排在首位；用 voyageai/rerank-3-lite 对前 30 个候选重排序后，这一比例提升到 97.1%，每 1,000 次查询成本约 $0.10。OpenRouter 建议检索约 30 个片段、对其重排序，并只将前 3 个传给 LLM；在其测试中，这将答案准确率提升到 99.3%，并将每 1,000 个问题的回答成本从 $0.22 降至 $0.16。 OpenRouter 提醒，该测试使用了小型合成数据集，因此实际收益取决于用户的文档。它还报告了两种失败模式：省略 input_type 参数会使 precision@1 损失 7 到 12 个百分点；cohere/rerank-v3.5 会静默忽略超出其 4,096 token 限制的内容。
AI 根据报道生成 · 11 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- OpenRouter AnnouncementsOpenRouter 在 274 题 RAG 基准上测试 11 个重排序器
OpenRouter 在一个 274 题的合成 RAG 数据集上对 11 个重排序器进行了基准测试，发现用 voyageai/rerank-3-lite 对向量检索的前 30 个候选进行重排序，可将 precision@1 从 81.0% 提升到 97.1%，成本约为每 1,000 次查询 0.10 美元。该指南建议检索约 30 个片段，对其进行重排序，只将前 3 个发送给 LLM，在其测试中将答案准确率提升到 99.3%，同时将每 1,000 个问题的回答成本从 0.22 美元降至 0.16 美元。它还指出了失败模式：省略 input_type 参数会损失 7 到 12 个百分点的 precision@1，而 cohere/rerank-v3.5 会静默忽略超出其 4,096 token 限制的内容。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。