哈佛研究發現,Claude Fable 5 遭禁用幾乎不影響開發者的合併率
熱點事件持續更新
哈佛研究發現,Claude Fable 5 遭禁用幾乎不影響開發者的合併率
1 篇報導1 個報導來源1 小時前更新
先了解這件事
AI 綜述
哈佛研究人員發現,在為期 19 天的禁用期間失去 Claude Fable 5 的使用權限,幾乎沒有改變開發者程式碼被合併的頻率。該研究追蹤 297 名 Fable 5 使用者在禁用前、禁用期間與禁用後的情況,並將他們與 8,908 名持續使用較舊 Opus 4.8 的開發者相比較,測量提交的程式碼變更在七天內被接納進 GitHub 專案的比例;取得該模型的使用權限僅讓這個比例提高 1.4 個百分點,論文稱這一差異不具統計顯著性。 在 2026 年的五次 Claude 升級中,涵蓋 1,208 名開發者與超過 15,000 次程式碼提交,研究人員發現合併率或每週完成的變更數都沒有顯著提升,即使基準測試分數提高了 5 到 18 分也一樣。作者認為,開發者的任務本來就落在較舊模型所能完成的範圍內,因此基準測試分數可能無法反映真實的工作生產力。論文坦承 GitHub 合併是不完美的生產力度量,但稱這次禁用是難得的機會,能在真實工作條件下測試模型切換。
AI 依報導生成 · 1 小時前更新
最新進展11月18日 23:19
哈佛研究發現,Claude Fable 禁令幾乎未改變開發者的合併率報導時間線
沿著報導,了解事件的不同側面。
11月18日
- Hacker News · AI哈佛研究發現,Claude Fable 禁令幾乎未改變開發者的合併率
一項哈佛研究追蹤了 297 名 Claude Fable 5 使用者在為期 19 天的禁令期間的表現,發現取得該模型僅讓七天內合併的拉取請求比例提高了 1.4 個百分點,論文稱這一差異在統計上不顯著。在 2026 年的五次 Claude 升級中,涵蓋 1,208 名開發者和超過 15,000 次程式碼提交,合併率或每週完成的變更均未出現顯著提升,即使基準分數提高了 5 到 18 分也是如此。作者認為,開發者交給代理的任務本就落在較舊模型的能力範圍內,因此基準分數可能無法反映真實的工作生產力。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。