Hacker News · AI·· 39 นาทีที่แล้วคะแนน AI40
Papr ทำคะแนนได้ 96.0% บน LongMemEval ด้วยการดึงข้อมูลที่รับรู้สคีมาสำหรับความจำระยะยาว
96.0% on LongMemEval: what retrieval does for long-term memory
สรุปโดย AI
Papr ตอบคำถาม LongMemEval ถูกต้อง 480 จาก 500 ข้อ (96.0%) ซึ่งเป็นคะแนนสูงสุดที่เผยแพร่ที่มันพบ โดยใช้พรอมต์ตอบคำถามและตัวให้คะแนนของ benchmark เอง การตั้งค่าที่ได้ 95.4% ส่งโทเคน 16.5k ต่อคำถามไปยังโมเดลตอบคำถาม ประมาณหนึ่งในสามของสิ่งที่ Hindsight ส่ง และเมื่อใช้ gpt-5-mini ทำได้ถึง 94.4% การดึงข้อมูลวางเซสชันหลักฐานทั้งหมดไว้ใน 5 อันดับแรกสำหรับ 97.9% ของคำถามที่ตอบได้
แหล่งข่าว:Hacker News · AI · papr.ai