Nghiên cứu phát hiện người phản biện LLM quá tập trung vào phần phụ lục của bài báo
Bắt đầu từ đây
Một nghiên cứu mới, "AI Reviews Are Biased Towards the Appendix," báo cáo rằng các mô hình AI mới hơn rút phần lớn các chỉ trích trong bài phản biện từ phần phụ lục của bài báo thay vì từ các phát hiện chính. Thử nghiệm trên 2.000 bài báo từ ACL 2026, EMNLP 2026, COLM 2026 và ICLR 2027 với GPT-6-Astra, GPT-6.1-Sol, Claude-Opus-5.5 và Claude-Sonnet-5.5, các tác giả phát hiện người phản biện AI quy 62% điểm yếu cho tài liệu phụ lục so với 8,4% ở người; các mô hình mới hơn rút khoảng 50–70% chỉ trích từ phụ lục, so với dưới 30% ở GPT-5. Xu hướng thiên lệch này vẫn tồn tại qua Codex, API và truy cập web. Các tác giả cũng báo cáo rằng chỉ trích liên quan đến phụ lục trong các bài phản biện của người đã tăng lên 27,6% trong các bài phản biện gần đây sau nhiều năm dưới 11%. Đối với các thử nghiệm, truy cập internet đã bị vô hiệu hóa để bài phản biện chỉ dựa vào các PDF được cung cấp, và danh tính tác giả đã bị xóa khỏi các bài báo ACL, EMNLP và COLM. Mã của nghiên cứu có sẵn trên GitHub.
Tạo từ các bài viết · cập nhật 45 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AINghiên cứu phát hiện người đánh giá ngang hàng AI quá tập trung vào phụ lục bài báo thay vì phát hiện chính
Một nghiên cứu mới có tiêu đề AI Reviews Are Biased Towards the Appendix phát hiện rằng các mô hình AI mới hơn rút ra khoảng 50-70% các chỉ trích trong đánh giá của chúng từ phụ lục bài báo, so với dưới 30% ở GPT-5. Thử nghiệm trên 2.000 bài báo từ ACL 2026, EMNLP 2026, COLM 2026 và ICLR 2027 với GPT-6-Astra, GPT-6.1-Sol, Claude-Opus-5.5 và Claude-Sonnet-5.5, các tác giả báo cáo rằng người đánh giá AI quy 62% điểm yếu cho tài liệu phụ lục so với 8,4% ở con người, và thiên lệch này vẫn tồn tại qua Codex, API và truy cập web. Bài báo cũng báo cáo rằng chỉ trích liên quan đến phụ lục trong đánh giá ngang hàng của con người tăng lên 27,6% trong các đánh giá gần đây sau nhiều năm dưới 11%, và mã của nó có sẵn trên GitHub.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.