Hacker News · AI·· 2 小时前AI 评分60
Contextflo 测试:四条简短笔记将 Claude Haiku 5.5 智能体在 DABstep 上的准确率从 36% 提升至 76%
Show HN: Company docs didn't help our AI agent. Four shortnotes doubled accuracy
AI 导读
Contextflo 在 Adyen 和 Hugging Face 的 DABstep 支付数据集上运行了一个 Claude Haiku 5.5 智能体,发现公司文档对准确率没有帮助,仅使用表格时得分为 36%,而使用表格时为 40%;而四条简短的手写笔记将其在 42 个问题的留出集上的准确率提升至 76%,每次尝试成本约为 1.3 美分。这些笔记涵盖了空白字段的含义、一笔付款会支付每一行匹配的价格、月度指日历月,以及如何回答最便宜选项类问题。作者还报告称,一条过于宽泛的笔记导致一个此前通过的题目失败,并且他们最初的 77% 数字在更严格的评分后于探索集上被修正为 63%。
来源:Hacker News · AI · contextflo.com