跳到正文
Hacker News · AI·· 2 小时前AI 评分64

哈佛研究发现禁用 Claude Fable 几乎未改变开发者合并率

Downgrading from Claude Fable barely affected dev productivity during ban

AI 导读

一项哈佛研究追踪了 297 名 Claude Fable 5 用户在 19 天禁令期间的使用情况,发现获得该模型仅使七天内合并的拉取请求比例提高了 1.4 个百分点,论文称这一差异在统计上不显著。在 2026 年的五次 Claude 升级中,覆盖 1,208 名开发者和超过 15,000 次代码提交,合并率或每周完成的变更均未出现显著提升,即使基准分数提高了 5 到 18 分。作者认为,开发者交给智能体的任务本就落在旧模型能力范围内,因此基准分数可能无法反映真实工作效率。

来源:Hacker News · AI · unite.ai