OpenRouter đánh giá 11 reranker trên bài kiểm tra RAG 274 câu hỏi
Bắt đầu từ đây
OpenRouter công bố hướng dẫn và đánh giá so sánh 11 reranker cho pipeline retrieval-augmented generation (RAG). Trên một bài kiểm tra tổng hợp 274 câu hỏi, tìm kiếm vector thuần với google/gemini-embedding-2 đặt đúng đoạn chunk chính xác ở vị trí đầu tiên 81,0% số lần; rerank 30 ứng viên hàng đầu với voyageai/rerank-3-lite nâng con số đó lên 97,1% với chi phí khoảng 0,10 USD cho mỗi 1.000 truy vấn. OpenRouter khuyến nghị truy xuất khoảng 30 chunk, rerank chúng, và chỉ đưa 3 chunk hàng đầu vào LLM, điều này trong thử nghiệm của họ đã nâng độ chính xác câu trả lời lên 99,3% và giảm chi phí trả lời từ 0,22 USD xuống 0,16 USD cho mỗi 1.000 câu hỏi. OpenRouter lưu ý rằng thử nghiệm sử dụng một tập dữ liệu tổng hợp nhỏ, nên lợi ích trong thực tế phụ thuộc vào tài liệu của người dùng. Họ cũng báo cáo hai kiểu lỗi: bỏ qua tham số input_type làm mất 7 đến 12 điểm precision@1, và cohere/rerank-v3.5 âm thầm bỏ qua nội dung vượt quá giới hạn 4.096 token của nó.
Tạo từ các bài viết · cập nhật 10 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- OpenRouter AnnouncementsOpenRouter thử nghiệm 11 reranker trên bộ benchmark RAG 274 câu hỏi
OpenRouter đã benchmark 11 reranker trên một bộ dữ liệu RAG tổng hợp gồm 274 câu hỏi và phát hiện rằng việc rerank 30 ứng viên hàng đầu từ tìm kiếm vector bằng voyageai/rerank-3-lite đã nâng precision@1 từ 81,0% lên 97,1% với chi phí khoảng 0,10 USD cho mỗi 1.000 truy vấn. Hướng dẫn khuyến nghị truy xuất khoảng 30 chunk, rerank chúng, và chỉ gửi 3 chunk hàng đầu đến LLM, điều này trong thử nghiệm của họ đã nâng độ chính xác câu trả lời lên 99,3% đồng thời giảm chi phí trả lời từ 0,22 USD xuống 0,16 USD cho mỗi 1.000 câu hỏi. Nó cũng chỉ ra các chế độ lỗi: bỏ qua tham số input_type mất 7 đến 12 điểm precision@1, và cohere/rerank-v3.5 âm thầm bỏ qua nội dung vượt quá giới hạn 4.096 token của nó.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.