Ai2 研究测试 LLM 能否可靠判断研究想法的新颖性

Ai2 发布了 Old Ideas, Novel Problems，这是一项研究和基准，用于测试 LLM 评估研究想法新颖性的可靠程度，同时发布了数据、代码以及用于构建新评估集的流水线。在包括 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 在内的六个评审模型中，提示词的微小改动使 AI 生成想法上的准确率变化超过 50 个百分点，而一个简单的提示式 Claude Opus 4.6 基线以 2.59 美元的成本取得 0.854 的 macro-F1，相比之下 Idea Novelty Checker 以 30.66 美元取得 0.642，Sakana AI 的 AI Scientist 以 82.05 美元取得 0.772。