Hacker News · AI·· 2 小時前AI 評分60
Contextflo 測試:四則簡短筆記讓 Claude Haiku 5.5 代理在 DABstep 上的準確率從 36% 提升到 76%
Show HN: Company docs didn't help our AI agent. Four shortnotes doubled accuracy
AI 導讀
Contextflo 讓一個 Claude Haiku 5.5 代理在來自 Adyen 和 Hugging Face 的 DABstep 支付資料集上執行,發現公司文件對準確率沒有幫助,得分為 36%,而僅用表格則為 40%,但四則簡短的手寫筆記將其在一組 42 題的留出集上提升到 76%,每次嘗試約花費 1.3 美分。這些筆記涵蓋了空白欄位的含義、一筆付款會支付每一列相符的價格、monthly 指日曆月,以及如何回答最便宜選項的問題。作者還報告,一則過於寬泛的筆記破壞了一道先前通過的題目,而他們最初的 77% 數字在更嚴格的評分後,於探索集上修訂為 63%。
來源:Hacker News · AI · contextflo.com