ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Contextflo: บันทึกสั้นสี่ข้อช่วยเพิ่มความแม่นยำของเอเจนต์ Claude Haiku 5.5 เป็น 76%

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Contextflo ทดสอบเอเจนต์ Claude Haiku 5.5 บน DABstep ชุดข้อมูลการชำระเงินสาธารณะจาก Adyen และ Hugging Face และรายงานว่าเอกสารของบริษัทเองไม่ได้ช่วยอะไร: ความแม่นยำอยู่ที่ 36% เมื่อมีเอกสาร เทียบกับ 40% เมื่อใช้ตารางเพียงอย่างเดียว บันทึกสั้นที่เขียนด้วยมือสี่ข้อช่วยเพิ่มความแม่นยำเป็น 76% บนชุดคำถามที่แยกไว้ 42 ข้อ โดยใช้ต้นทุนประมาณ 1.3 เซนต์ต่อครั้ง บันทึกเหล่านั้นครอบคลุมความหมายของช่องว่าง การที่การชำระเงินหนึ่งรายการใช้กับทุกแถวราคาที่ตรงกัน ความหมายของ "monthly" ว่าคือเดือนตามปฏิทิน และวิธีตอบคำถามเกี่ยวกับตัวเลือกที่ถูกที่สุด Contextflo ยังรายงานด้วยว่าบันทึกหนึ่งข้อที่กว้างเกินไปทำให้คำถามหนึ่งข้อที่เคยผ่านกลับล้มเหลว และตัวเลข 77% ในตอนแรกถูกปรับเป็น 63% บนชุดสำรวจหลังจากให้คะแนนเข้มงวดขึ้น ผู้เขียนระบุว่าพวกเขาไม่ได้ทดสอบกับฐานข้อมูลที่ใหญ่กว่า และไม่ได้อ้างว่าผลลัพธ์จะขยายผลอย่างไร

สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

20 พฤศจิกายน
  1. Hacker News · AI
    การทดสอบ Contextflo: บันทึกสั้นสี่ข้อช่วยเพิ่มความแม่นยำของเอเจนต์ Claude Haiku 5.5 บน DABstep จาก 36% เป็น 76%

    Contextflo ทดสอบเอเจนต์ Claude Haiku 5.5 บนชุดข้อมูลการชำระเงิน DABstep จาก Adyen และ Hugging Face และพบว่าเอกสารของบริษัทไม่ได้ช่วยเพิ่มความแม่นยำ โดยได้คะแนน 36% เทียบกับ 40% เมื่อใช้ตารางเพียงอย่างเดียว ขณะที่บันทึกสั้นสี่ข้อที่เขียนด้วยมือช่วยเพิ่มเป็น 76% บนชุดคำถามที่แยกไว้ 42 ข้อ ด้วยต้นทุนประมาณ 1.3 เซนต์ต่อครั้ง บันทึกเหล่านั้นครอบคลุมความหมายของช่องว่าง การที่การชำระเงินหนึ่งครั้งจ่ายให้ทุกแถวราคาที่ตรงกัน ความหมายของรายเดือนคือเดือนตามปฏิทิน และวิธีตอบคำถามเกี่ยวกับตัวเลือกที่ถูกที่สุด ผู้เขียนยังรายงานว่าบันทึกหนึ่งข้อที่กว้างเกินไปทำให้คำถามที่เคยผ่านเกิดข้อผิดพลาด และตัวเลข 77% ในตอนแรกถูกปรับเป็น 63% บนชุดสำรวจหลังจากให้คะแนนเข้มงวดขึ้น

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม