Hacker News · AI·· 2 小時前AI 評分64
哈佛研究發現,Claude Fable 禁令幾乎未改變開發者的合併率
Downgrading from Claude Fable barely affected dev productivity during ban
AI 導讀
一項哈佛研究追蹤了 297 名 Claude Fable 5 使用者在為期 19 天的禁令期間的表現,發現取得該模型僅讓七天內合併的拉取請求比例提高了 1.4 個百分點,論文稱這一差異在統計上不顯著。在 2026 年的五次 Claude 升級中,涵蓋 1,208 名開發者和超過 15,000 次程式碼提交,合併率或每週完成的變更均未出現顯著提升,即使基準分數提高了 5 到 18 分也是如此。作者認為,開發者交給代理的任務本就落在較舊模型的能力範圍內,因此基準分數可能無法反映真實的工作生產力。
來源:Hacker News · AI · unite.ai