Kiểm thử Contextflo: bốn ghi chú ngắn nâng độ chính xác của agent Claude Haiku 5.5 trên DABstep từ 36% lên 76%
Show HN: Company docs didn't help our AI agent. Four shortnotes doubled accuracy
Contextflo đã chạy một agent Claude Haiku 5.5 trên bộ dữ liệu thanh toán DABstep của Adyen và Hugging Face và nhận thấy tài liệu công ty không giúp cải thiện độ chính xác, đạt 36% so với 40% khi chỉ dùng bảng, trong khi bốn ghi chú ngắn viết tay nâng con số này lên 76% trên một tập giữ riêng gồm 42 câu hỏi với chi phí khoảng 1,3 cent mỗi lần thử. Các ghi chú đề cập ý nghĩa của các trường trống, việc một khoản thanh toán trả cho mọi dòng giá khớp, rằng "hàng tháng" nghĩa là tháng dương lịch, và cách trả lời các câu hỏi về lựa chọn rẻ nhất. Nhóm tác giả cũng báo cáo rằng một ghi chú quá rộng đã làm hỏng một câu hỏi trước đó vốn đã vượt qua, và con số 77% ban đầu của họ đã được sửa lại thành 63% trên tập khám phá sau khi chấm điểm chặt chẽ hơn.
Nguồn:Hacker News · AI · contextflo.com