哈佛研究发现,Claude Fable 5 被禁用几乎未影响开发者代码合并率
热点事件持续更新
哈佛研究发现,Claude Fable 5 被禁用几乎未影响开发者代码合并率
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
哈佛研究人员发现,在为期 19 天的禁用期内无法使用 Claude Fable 5,几乎未改变开发者代码被合并的频率。该研究追踪了 297 名 Fable 5 用户在禁用前、禁用期间和禁用后的情况,并将他们与 8,908 名继续使用旧版 Opus 4.8 的开发者进行对比,衡量了提交的代码变更在七天内被 GitHub 项目接受的比例;使用该模型仅使这一比例提高了 1.4 个百分点,论文称这一差异在统计上不显著。 在 2026 年的五次 Claude 升级中,覆盖 1,208 名开发者和超过 15,000 次代码提交,研究人员发现合并率或每周完成的变更数量均无显著提升,即使基准分数提高了 5 到 18 分。作者认为,开发者的任务已落在旧模型能力范围之内,因此基准分数可能无法反映真实工作效率。论文承认 GitHub 合并率并非完美的生产力衡量指标,但称此次禁用是难得的机会,可在真实工作条件下测试模型切换。
AI 根据报道生成 · 1 小时前更新
最新进展11月18日 23:19
哈佛研究发现禁用 Claude Fable 几乎未改变开发者合并率报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- Hacker News · AI哈佛研究发现禁用 Claude Fable 几乎未改变开发者合并率
一项哈佛研究追踪了 297 名 Claude Fable 5 用户在 19 天禁令期间的使用情况,发现获得该模型仅使七天内合并的拉取请求比例提高了 1.4 个百分点,论文称这一差异在统计上不显著。在 2026 年的五次 Claude 升级中,覆盖 1,208 名开发者和超过 15,000 次代码提交,合并率或每周完成的变更均未出现显著提升,即使基准分数提高了 5 到 18 分。作者认为,开发者交给智能体的任务本就落在旧模型能力范围内,因此基准分数可能无法反映真实工作效率。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。