Papr báo cáo đạt 96,0% trên bộ đánh giá trí nhớ LongMemEval
Bắt đầu từ đây
Papr cho biết đã trả lời đúng 480 trong số 500 câu hỏi LongMemEval (96,0%), mức mà họ gọi là điểm số công bố cao nhất mà họ tìm thấy, sử dụng đúng prompt trả lời và bộ chấm điểm của chính bộ đánh giá. Cấu hình đạt 95,4% của họ gửi cho mô hình trả lời 16,5k token mỗi câu hỏi, khoảng một phần ba so với Hindsight; với gpt-5-mini, nó đạt 94,4%. Truy xuất đưa tất cả các phiên chứa bằng chứng vào top 5 đối với 97,9% số câu hỏi có thể trả lời. Papr cho biết mọi câu trả lời và quyết định chấm điểm đều công khai, và họ đã tinh chỉnh prompt trên một nửa số câu hỏi rồi kiểm tra trên nửa còn lại. Họ lưu ý rằng không có thêm tập held-out nào, điều mà họ nói là đúng với hầu hết các kết quả LongMemEval đã công bố. Mô hình embedding, papr-embed, có sẵn qua Papr Memory API.
Tạo từ các bài viết · cập nhật 14 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIPapr đạt 96,0% trên LongMemEval với truy xuất nhận biết lược đồ cho bộ nhớ dài hạn
Papr trả lời đúng 480 trong số 500 câu hỏi LongMemEval (96,0%), mức điểm công bố cao nhất mà nó tìm thấy, bằng cách dùng chính prompt trả lời và bộ chấm điểm của benchmark. Cấu hình đạt 95,4% gửi cho mô hình trả lời 16,5k token mỗi câu hỏi, khoảng một phần ba so với Hindsight, và với gpt-5-mini nó đạt 94,4%. Truy xuất đưa toàn bộ các phiên chứa bằng chứng vào top 5 đối với 97,9% số câu hỏi có thể trả lời.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.