Portal2Bench ทดสอบว่า AI agent แก้ห้องทดสอบใน Portal 2 ได้หรือไม่
เริ่มตรงนี้
Portal2Bench ซึ่งเป็น benchmark อิสระที่ไม่เกี่ยวข้องกับ Valve ได้เผยแพร่ผลการวัดว่า AI agent สามารถแก้ห้องทดสอบ Portal 2 จำนวน 26 ห้องตั้งแต่บทที่ 2 ถึงบทที่ 5 ได้หรือไม่ ห้องหนึ่งจะนับว่าแก้ได้ก็ต่อเมื่อ agent ไปถึงแมปถัดไปได้ภายใน 300 แผนและ 30 ดอลลาร์ โดยแต่ละห้องรันใหม่แยกกันอย่างอิสระ และคิดราคาตามราคาตามรายการของ API เมื่อรันผ่าน Codex พบว่า GPT-6.1 Sol และ GPT-6 Astra แก้ได้ห้องละ 20 จาก 26 ห้อง GPT-6.1 Terra แก้ได้ 19 ห้อง Opus 5.5 แก้ได้ 11 ห้อง Sonnet 5.5 แก้ได้ 6 ห้อง และ GPT-6 Luna แก้ได้ 0 ห้อง agent ส่งการกดปุ่มและดูเทิร์น แล้วรับภาพหน้าจอและตำแหน่งของตน โดยเข้าถึงได้เพียงโฟลเดอร์โน้ตเท่านั้น ไม่มี shell เว็บ หรือคอนโซล ค่าใช้จ่ายมัธยฐานต่อห้องที่แก้ได้อยู่ระหว่าง 0.74 ดอลลาร์สำหรับ GPT-6.1 Terra ถึง 13.12 ดอลลาร์สำหรับ Fable 5.1 Portal2Bench ระบุว่าโมเดลส่วนใหญ่รันที่ระดับความพยายามสูงสุด โดย Gemini 4 Argon อยู่ที่ระดับ high และห้องส่วนใหญ่ยังอยู่ระหว่างการรันเนื่องจากข้อจำกัดด้านคอมพิวต์และขีดจำกัดการใช้งาน
สร้างจากรายงาน · อัปเดต 13 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIPortal2Bench ทดสอบว่า AI agent แก้ไขห้องทดลองใน Portal 2 ได้หรือไม่
Portal2Bench ซึ่งเป็น benchmark อิสระที่ไม่มีความเกี่ยวข้องกับ Valve วัดว่า AI agent สามารถแก้ไขห้องทดลอง Portal 2 จำนวน 26 ห้องตั้งแต่บทที่ 2 ถึงบทที่ 5 ได้หรือไม่ โดยจะนับว่าห้องหนึ่งแก้ไขสำเร็จก็ต่อเมื่อ agent ไปถึงแผนที่ถัดไปได้ภายใน 300 แผนและใช้จ่าย 30 ดอลลาร์ GPT-6.1 Sol และ GPT-6 Astra ซึ่งรันผ่าน Codex ทั้งคู่แก้ไขได้ 20 จาก 26 ห้อง GPT-6.1 Terra แก้ไขได้ 19 ห้อง Opus 5.5 แก้ไขได้ 11 ห้อง Sonnet 5.5 แก้ไขได้ 6 ห้อง และ GPT-6 Luna แก้ไขได้ 0 ห้อง agent ส่งการกดปุ่มและการหมุนมุมมอง และได้รับภาพหน้าจอกับตำแหน่งของตัวเอง โดยเข้าถึงได้เพียงโฟลเดอร์บันทึกเท่านั้น ไม่มี shell เว็บ หรือคอนโซล ค่าใช้จ่ายมัธยฐานต่อห้องที่แก้ไขสำเร็จอยู่ในช่วงตั้งแต่ 0.74 ดอลลาร์สำหรับ GPT-6.1 Terra ถึง 13.12 ดอลลาร์สำหรับ Fable 5.1
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม