跳至正文
熱點事件持續更新

Contextflo:四則簡短筆記讓 Claude Haiku 5.5 代理在 DABstep 上的準確率提升至 76%

1 篇報導1 個報導來源1 小時前更新

先了解這件事

AI 綜述

Contextflo 讓一個 Claude Haiku 5.5 代理在 DABstep 上執行,這是來自 Adyen 與 Hugging Face 的公開支付資料集,並回報該公司自家的文件並沒有幫助:附文件時準確率為 36%,僅有資料表時為 40%。四則簡短的手寫筆記讓準確率在一組 42 題的留出集上提升至 76%,每次嘗試約花費 1.3 美分。 這些筆記涵蓋了空白欄位的含義、一筆支付會套用到每一列相符的價格資料、「monthly」指的是曆月,以及如何回答最便宜選項的問題。Contextflo 也回報,一則過於寬泛的筆記讓一道原本通過的題目失效,而其最初的 77% 數字在採用更嚴格的評分後,於探索集上修正為 63%。作者表示他們並未測試更大的資料庫,也不主張此結果該如何擴展。

AI 依報導生成 · 1 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月20日
  1. Hacker News · AI
    Contextflo 測試:四則簡短筆記讓 Claude Haiku 5.5 代理在 DABstep 上的準確率從 36% 提升到 76%

    Contextflo 讓一個 Claude Haiku 5.5 代理在來自 Adyen 和 Hugging Face 的 DABstep 支付資料集上執行,發現公司文件對準確率沒有幫助,得分為 36%,而僅用表格則為 40%,但四則簡短的手寫筆記將其在一組 42 題的留出集上提升到 76%,每次嘗試約花費 1.3 美分。這些筆記涵蓋了空白欄位的含義、一筆付款會支付每一列相符的價格、monthly 指日曆月,以及如何回答最便宜選項的問題。作者還報告,一則過於寬泛的筆記破壞了一道先前通過的題目,而他們最初的 77% 數字在更嚴格的評分後,於探索集上修訂為 63%。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。