ข้ามไปที่เนื้อหา
Hacker News · AI·· 2 ชม. ที่แล้วคะแนน AI60

การทดสอบ Contextflo: บันทึกสั้นสี่ข้อช่วยเพิ่มความแม่นยำของเอเจนต์ Claude Haiku 5.5 บน DABstep จาก 36% เป็น 76%

Show HN: Company docs didn't help our AI agent. Four shortnotes doubled accuracy

สรุปโดย AI

Contextflo ทดสอบเอเจนต์ Claude Haiku 5.5 บนชุดข้อมูลการชำระเงิน DABstep จาก Adyen และ Hugging Face และพบว่าเอกสารของบริษัทไม่ได้ช่วยเพิ่มความแม่นยำ โดยได้คะแนน 36% เทียบกับ 40% เมื่อใช้ตารางเพียงอย่างเดียว ขณะที่บันทึกสั้นสี่ข้อที่เขียนด้วยมือช่วยเพิ่มเป็น 76% บนชุดคำถามที่แยกไว้ 42 ข้อ ด้วยต้นทุนประมาณ 1.3 เซนต์ต่อครั้ง บันทึกเหล่านั้นครอบคลุมความหมายของช่องว่าง การที่การชำระเงินหนึ่งครั้งจ่ายให้ทุกแถวราคาที่ตรงกัน ความหมายของรายเดือนคือเดือนตามปฏิทิน และวิธีตอบคำถามเกี่ยวกับตัวเลือกที่ถูกที่สุด ผู้เขียนยังรายงานว่าบันทึกหนึ่งข้อที่กว้างเกินไปทำให้คำถามที่เคยผ่านเกิดข้อผิดพลาด และตัวเลข 77% ในตอนแรกถูกปรับเป็น 63% บนชุดสำรวจหลังจากให้คะแนนเข้มงวดขึ้น

แหล่งข่าว:Hacker News · AI · contextflo.com