跳至正文
熱點事件持續更新

研究發現 LLM 同儕審查者過度聚焦於論文附錄

1 篇報導1 個報導來源49 分鐘前更新

先了解這件事

AI 綜述

一項新研究〈AI Reviews Are Biased Towards the Appendix〉指出,較新的 AI 模型在審查意見中提出的批評大多來自論文附錄,而非主要研究發現。作者以 GPT-6-Astra、GPT-6.1-Sol、Claude-Opus-5.5 與 Claude-Sonnet-5.5 測試 ACL 2026、EMNLP 2026、COLM 2026 與 ICLR 2027 的 2,000 篇論文,發現 AI 審查者將 62% 的弱點歸因於附錄內容,人類僅為 8.4%;較新模型約有 50–70% 的批評來自附錄,相較之下 GPT-5 低於 30%。此偏差在 Codex、API 與網頁存取下皆持續存在。 作者亦指出,人類審查意見中與附錄相關的批評在最新一輪審查中升至 27.6%,此前多年均低於 11%。測試期間網路存取已停用,審查僅依賴所提供的 PDF,且 ACL、EMNLP 與 COLM 論文的作者身分均已移除。該研究的程式碼已於 GitHub 公開。

AI 依報導生成 · 45 分鐘前更新

報導時間線

沿著報導,了解事件的不同側面。

11月16日
  1. Hacker News · AI
    研究發現 AI 同儕審查者過度關注論文附錄而非主要發現

    一篇名為《AI Reviews Are Biased Towards the Appendix》的新研究發現,較新的 AI 模型約有 50-70% 的審查批評來自論文附錄,而 GPT-5 則低於 30%。作者以 GPT-6-Astra、GPT-6.1-Sol、Claude-Opus-5.5 和 Claude-Sonnet-5.5 測試了來自 ACL 2026、EMNLP 2026、COLM 2026 和 ICLR 2027 的 2,000 篇論文,報告指出 AI 審查者將 62% 的弱點歸因於附錄材料,而人類僅為 8.4%,且此偏差在 Codex、API 和網頁存取中持續存在。該論文還報告,人類同儕審查中與附錄相關的批評在最新審查中升至 27.6%,此前多年低於 11%,其程式碼已在 GitHub 上發布。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。