Portal2Bench ทดสอบว่า AI agent แก้ไขห้องทดลองใน Portal 2 ได้หรือไม่

Portal2Bench ซึ่งเป็น benchmark อิสระที่ไม่มีความเกี่ยวข้องกับ Valve วัดว่า AI agent สามารถแก้ไขห้องทดลอง Portal 2 จำนวน 26 ห้องตั้งแต่บทที่ 2 ถึงบทที่ 5 ได้หรือไม่ โดยจะนับว่าห้องหนึ่งแก้ไขสำเร็จก็ต่อเมื่อ agent ไปถึงแผนที่ถัดไปได้ภายใน 300 แผนและใช้จ่าย 30 ดอลลาร์ GPT-6.1 Sol และ GPT-6 Astra ซึ่งรันผ่าน Codex ทั้งคู่แก้ไขได้ 20 จาก 26 ห้อง GPT-6.1 Terra แก้ไขได้ 19 ห้อง Opus 5.5 แก้ไขได้ 11 ห้อง Sonnet 5.5 แก้ไขได้ 6 ห้อง และ GPT-6 Luna แก้ไขได้ 0 ห้อง agent ส่งการกดปุ่มและการหมุนมุมมอง และได้รับภาพหน้าจอกับตำแหน่งของตัวเอง โดยเข้าถึงได้เพียงโฟลเดอร์บันทึกเท่านั้น ไม่มี shell เว็บ หรือคอนโซล ค่าใช้จ่ายมัธยฐานต่อห้องที่แก้ไขสำเร็จอยู่ในช่วงตั้งแต่ 0.74 ดอลลาร์สำหรับ GPT-6.1 Terra ถึง 13.12 ดอลลาร์สำหรับ Fable 5.1