Portal2Bench kiểm tra liệu các tác nhân AI có thể giải được các buồng thử nghiệm của Portal 2 hay không

Portal2Bench, một bộ đánh giá độc lập không liên kết với Valve, đo lường liệu các tác nhân AI có thể giải được 26 buồng thử nghiệm của Portal 2 từ chương 2 đến chương 5 hay không, chỉ tính một buồng là đã giải nếu tác nhân đến được bản đồ tiếp theo trong vòng 300 kế hoạch và 30 đô la. GPT-6.1 Sol và GPT-6 Astra, cả hai đều chạy qua Codex, mỗi mô hình giải được 20 trong số 26 buồng, GPT-6.1 Terra giải được 19, Opus 5.5 giải được 11, Sonnet 5.5 giải được 6, và GPT-6 Luna giải được 0. Tác nhân gửi các lần nhấn phím và xoay góc nhìn, đồng thời nhận ảnh chụp màn hình và vị trí của mình, chỉ có quyền truy cập vào một thư mục ghi chú và không có shell, web hay console; chi phí trung vị cho mỗi buồng được giải dao động từ 0,74 đô la đối với GPT-6.1 Terra đến 13,12 đô la đối với Fable 5.1.