研究发现 LLM 同行评审人过度关注论文附录
先了解这件事
一项新研究《AI Reviews Are Biased Towards the Appendix》指出,较新的 AI 模型在评审意见中提出的批评大多来自论文附录,而非主要发现。作者使用 GPT-6-Astra、GPT-6.1-Sol、Claude-Opus-5.5 和 Claude-Sonnet-5.5 对来自 ACL 2026、EMNLP 2026、COLM 2026 和 ICLR 2027 的 2,000 篇论文进行测试,发现 AI 评审人将 62% 的弱点归因于附录材料,而人类评审人的这一比例为 8.4%;较新的模型约 50–70% 的批评来自附录,相比之下 GPT-5 低于 30%。这一偏差在 Codex、API 和网页访问方式下均持续存在。 作者还报告称,在多年低于 11% 之后,最新评审中人类评审意见里与附录相关的批评升至 27.6%。测试期间互联网访问被禁用,因此评审仅依赖所提供的 PDF,并且 ACL、EMNLP 和 COLM 论文的作者身份已被移除。该研究的代码已在 GitHub 上公开。
AI 根据报道生成 · 45 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hacker News · AI研究发现AI审稿人过度关注论文附录而非主要发现
一项题为《AI审稿偏向附录》的新研究发现,较新的AI模型约50-70%的审稿批评来自论文附录,而GPT-5这一比例低于30%。作者使用GPT-6-Astra、GPT-6.1-Sol、Claude-Opus-5.5和Claude-Sonnet-5.5对来自ACL 2026、EMNLP 2026、COLM 2026和ICLR 2027的2000篇论文进行测试,报告称AI审稿人将62%的弱点归因于附录材料,而人类这一比例为8.4%,且该偏差在Codex、API和网页访问方式下均持续存在。论文还报告称,人类同行评审中与附录相关的批评在最新评审中升至27.6%,而此前多年低于11%,其代码已在GitHub上公开。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。