Ai2 研究測試 LLMs 是否能可靠判斷研究想法的創新性

Ai2 發布了 Old Ideas, Novel Problems，這是一項研究與基準，用來測試 LLMs 評估研究想法創新性的可靠程度，並附上資料、程式碼以及用於建立新評估集的流程。在包含 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 在內的六個評審中，小幅的提示詞變動使 AI 生成想法的準確率變動超過 50 個百分點，而一個簡單提示的 Claude Opus 4.6 基線以 $2.59 的成本達到 0.854 的 macro-F1，相比之下 Idea Novelty Checker 以 $30.66 達到 0.642，Sakana AI 的 AI Scientist 則以 $82.05 達到 0.772。