Contextflo: bốn ghi chú ngắn nâng độ chính xác của agent Claude Haiku 5.5 lên 76%
Bắt đầu từ đây
Contextflo đã chạy một agent Claude Haiku 5.5 trên DABstep, một bộ dữ liệu thanh toán công khai từ Adyen và Hugging Face, và báo cáo rằng tài liệu của chính công ty không giúp ích: độ chính xác là 36% khi có tài liệu so với 40% khi chỉ có bảng. Bốn ghi chú ngắn viết tay đã nâng độ chính xác lên 76% trên một tập giữ lại gồm 42 câu hỏi, với chi phí khoảng 1,3 xu mỗi lần thử. Các ghi chú đề cập ý nghĩa của các trường trống, rằng một khoản thanh toán áp dụng cho mọi dòng giá khớp, rằng "hàng tháng" nghĩa là tháng dương lịch, và cách trả lời các câu hỏi về lựa chọn rẻ nhất. Contextflo cũng báo cáo rằng một ghi chú quá rộng đã làm hỏng một câu hỏi trước đó đã vượt qua, và con số 77% ban đầu của họ đã được sửa thành 63% trên tập khám phá sau khi chấm điểm chặt chẽ hơn. Các tác giả nói rằng họ chưa thử nghiệm trên một cơ sở dữ liệu lớn hơn và không khẳng định kết quả sẽ mở rộng ra sao.
Tạo từ các bài viết · cập nhật 1 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIKiểm thử Contextflo: bốn ghi chú ngắn nâng độ chính xác của agent Claude Haiku 5.5 trên DABstep từ 36% lên 76%
Contextflo đã chạy một agent Claude Haiku 5.5 trên bộ dữ liệu thanh toán DABstep của Adyen và Hugging Face và nhận thấy tài liệu công ty không giúp cải thiện độ chính xác, đạt 36% so với 40% khi chỉ dùng bảng, trong khi bốn ghi chú ngắn viết tay nâng con số này lên 76% trên một tập giữ riêng gồm 42 câu hỏi với chi phí khoảng 1,3 cent mỗi lần thử. Các ghi chú đề cập ý nghĩa của các trường trống, việc một khoản thanh toán trả cho mọi dòng giá khớp, rằng "hàng tháng" nghĩa là tháng dương lịch, và cách trả lời các câu hỏi về lựa chọn rẻ nhất. Nhóm tác giả cũng báo cáo rằng một ghi chú quá rộng đã làm hỏng một câu hỏi trước đó vốn đã vượt qua, và con số 77% ban đầu của họ đã được sửa lại thành 63% trên tập khám phá sau khi chấm điểm chặt chẽ hơn.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.