Contextflo: บันทึกสั้นสี่ข้อช่วยเพิ่มความแม่นยำของเอเจนต์ Claude Haiku 5.5 เป็น 76%
เริ่มตรงนี้
Contextflo ทดสอบเอเจนต์ Claude Haiku 5.5 บน DABstep ชุดข้อมูลการชำระเงินสาธารณะจาก Adyen และ Hugging Face และรายงานว่าเอกสารของบริษัทเองไม่ได้ช่วยอะไร: ความแม่นยำอยู่ที่ 36% เมื่อมีเอกสาร เทียบกับ 40% เมื่อใช้ตารางเพียงอย่างเดียว บันทึกสั้นที่เขียนด้วยมือสี่ข้อช่วยเพิ่มความแม่นยำเป็น 76% บนชุดคำถามที่แยกไว้ 42 ข้อ โดยใช้ต้นทุนประมาณ 1.3 เซนต์ต่อครั้ง บันทึกเหล่านั้นครอบคลุมความหมายของช่องว่าง การที่การชำระเงินหนึ่งรายการใช้กับทุกแถวราคาที่ตรงกัน ความหมายของ "monthly" ว่าคือเดือนตามปฏิทิน และวิธีตอบคำถามเกี่ยวกับตัวเลือกที่ถูกที่สุด Contextflo ยังรายงานด้วยว่าบันทึกหนึ่งข้อที่กว้างเกินไปทำให้คำถามหนึ่งข้อที่เคยผ่านกลับล้มเหลว และตัวเลข 77% ในตอนแรกถูกปรับเป็น 63% บนชุดสำรวจหลังจากให้คะแนนเข้มงวดขึ้น ผู้เขียนระบุว่าพวกเขาไม่ได้ทดสอบกับฐานข้อมูลที่ใหญ่กว่า และไม่ได้อ้างว่าผลลัพธ์จะขยายผลอย่างไร
สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIการทดสอบ Contextflo: บันทึกสั้นสี่ข้อช่วยเพิ่มความแม่นยำของเอเจนต์ Claude Haiku 5.5 บน DABstep จาก 36% เป็น 76%
Contextflo ทดสอบเอเจนต์ Claude Haiku 5.5 บนชุดข้อมูลการชำระเงิน DABstep จาก Adyen และ Hugging Face และพบว่าเอกสารของบริษัทไม่ได้ช่วยเพิ่มความแม่นยำ โดยได้คะแนน 36% เทียบกับ 40% เมื่อใช้ตารางเพียงอย่างเดียว ขณะที่บันทึกสั้นสี่ข้อที่เขียนด้วยมือช่วยเพิ่มเป็น 76% บนชุดคำถามที่แยกไว้ 42 ข้อ ด้วยต้นทุนประมาณ 1.3 เซนต์ต่อครั้ง บันทึกเหล่านั้นครอบคลุมความหมายของช่องว่าง การที่การชำระเงินหนึ่งครั้งจ่ายให้ทุกแถวราคาที่ตรงกัน ความหมายของรายเดือนคือเดือนตามปฏิทิน และวิธีตอบคำถามเกี่ยวกับตัวเลือกที่ถูกที่สุด ผู้เขียนยังรายงานว่าบันทึกหนึ่งข้อที่กว้างเกินไปทำให้คำถามที่เคยผ่านเกิดข้อผิดพลาด และตัวเลข 77% ในตอนแรกถูกปรับเป็น 63% บนชุดสำรวจหลังจากให้คะแนนเข้มงวดขึ้น
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม