Papr รายงานผล 96.0% บน LongMemEval memory benchmark

Papr ระบุว่าตอบคำถาม LongMemEval ถูกต้อง 480 จาก 500 ข้อ (96.0%) ซึ่งถือเป็นคะแนนสูงสุดที่เผยแพร่ที่บริษัทพบ โดยใช้ answer prompt และ grader ของ benchmark เอง การตั้งค่าที่ได้ 95.4% ส่งโทเคน 16.5k ต่อคำถามให้โมเดลตอบ ประมาณหนึ่งในสามของที่ Hindsight ส่ง และเมื่อใช้ gpt-5-mini ทำได้ 94.4% การดึงข้อมูลวาง session ที่เป็นหลักฐานทั้งหมดไว้ใน top 5 สำหรับ 97.9% ของคำถามที่ตอบได้ Papr ระบุว่าทุกคำตอบและการตัดสินให้คะแนนเปิดเผยต่อสาธารณะ และบริษัทปรับ prompt บนคำถามครึ่งหนึ่งและตรวจสอบอีกครึ่งหนึ่ง บริษัทตั้งข้อสังเกตว่าไม่มี held-out set เพิ่มเติม ซึ่งบริษัทกล่าวว่าเป็นเช่นนี้กับผล LongMemEval ที่เผยแพร่ส่วนใหญ่ โมเดล embedding ชื่อ papr-embed ใช้งานได้ผ่าน Papr Memory API

สร้างจากรายงาน · อัปเดต 14 นาทีที่แล้ว

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม