跳至正文
熱點事件持續更新

哈佛研究發現,Claude Fable 5 遭禁用幾乎不影響開發者的合併率

1 篇報導1 個報導來源1 小時前更新

先了解這件事

AI 綜述

哈佛研究人員發現,在為期 19 天的禁用期間失去 Claude Fable 5 的使用權限,幾乎沒有改變開發者程式碼被合併的頻率。該研究追蹤 297 名 Fable 5 使用者在禁用前、禁用期間與禁用後的情況,並將他們與 8,908 名持續使用較舊 Opus 4.8 的開發者相比較,測量提交的程式碼變更在七天內被接納進 GitHub 專案的比例;取得該模型的使用權限僅讓這個比例提高 1.4 個百分點,論文稱這一差異不具統計顯著性。 在 2026 年的五次 Claude 升級中,涵蓋 1,208 名開發者與超過 15,000 次程式碼提交,研究人員發現合併率或每週完成的變更數都沒有顯著提升,即使基準測試分數提高了 5 到 18 分也一樣。作者認為,開發者的任務本來就落在較舊模型所能完成的範圍內,因此基準測試分數可能無法反映真實的工作生產力。論文坦承 GitHub 合併是不完美的生產力度量,但稱這次禁用是難得的機會,能在真實工作條件下測試模型切換。

AI 依報導生成 · 1 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月18日
  1. Hacker News · AI
    哈佛研究發現,Claude Fable 禁令幾乎未改變開發者的合併率

    一項哈佛研究追蹤了 297 名 Claude Fable 5 使用者在為期 19 天的禁令期間的表現,發現取得該模型僅讓七天內合併的拉取請求比例提高了 1.4 個百分點,論文稱這一差異在統計上不顯著。在 2026 年的五次 Claude 升級中,涵蓋 1,208 名開發者和超過 15,000 次程式碼提交,合併率或每週完成的變更均未出現顯著提升,即使基準分數提高了 5 到 18 分也是如此。作者認為,開發者交給代理的任務本就落在較舊模型的能力範圍內,因此基準分數可能無法反映真實的工作生產力。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。