Nghiên cứu của Ai2 kiểm tra liệu LLM có thể đánh giá đáng tin cậy tính mới của ý tưởng nghiên cứu hay không

Ai2 đã công bố Old Ideas, Novel Problems, một nghiên cứu và bộ đánh giá kiểm tra mức độ đáng tin cậy của LLM khi đánh giá tính mới của các ý tưởng nghiên cứu, cùng với dữ liệu, mã nguồn và một pipeline để xây dựng các bộ đánh giá mới. Qua sáu giám khảo gồm GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 và Claude Opus 4.6, những thay đổi nhỏ trong prompt đã làm độ chính xác dịch chuyển hơn 50 điểm phần trăm trên các ý tưởng do AI tạo ra, và một baseline Claude Opus 4.6 đơn giản với prompt đạt macro-F1 0,854 với chi phí 2,59 USD, so với 0,642 với chi phí 30,66 USD của Idea Novelty Checker và 0,772 với chi phí 82,05 USD của AI Scientist do Sakana AI phát triển.