Benchmark Portal2Bench kiểm tra các tác nhân AI trên các phòng thử nghiệm của Portal 2
Bắt đầu từ đây
Portal2Bench, một benchmark độc lập không liên kết với Valve, đã công bố kết quả đo lường liệu các tác nhân AI có thể giải được 26 phòng thử nghiệm của Portal 2 từ chương 2 đến chương 5 hay không. Một phòng chỉ được tính là đã giải nếu tác nhân đến được bản đồ tiếp theo trong vòng 300 lượt lập kế hoạch và 30 đô la, với mỗi phòng được chạy mới và độc lập, và chi phí chạy tính theo giá niêm yết của API. Chạy qua Codex, GPT-6.1 Sol và GPT-6 Astra mỗi mô hình giải được 20 trong 26 phòng, GPT-6.1 Terra giải được 19, Opus 5.5 giải được 11, Sonnet 5.5 giải được 6, và GPT-6 Luna giải được 0. Các tác nhân gửi thao tác phím và lượt xem, đồng thời nhận ảnh chụp màn hình và vị trí của mình, chỉ có quyền truy cập vào một thư mục ghi chú và không có shell, web hay console. Chi phí trung vị cho mỗi phòng đã giải dao động từ 0,74 đô la với GPT-6.1 Terra đến 13,12 đô la với Fable 5.1. Portal2Bench cho biết hầu hết các mô hình chạy ở mức nỗ lực tối đa, với Gemini 4 Argon ở mức cao, và rằng hầu hết các phòng vẫn đang được chạy do hạn chế về tài nguyên tính toán và giới hạn sử dụng.
Tạo từ các bài viết · cập nhật 13 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIPortal2Bench kiểm tra liệu các tác nhân AI có thể giải được các buồng thử nghiệm của Portal 2 hay không
Portal2Bench, một bộ đánh giá độc lập không liên kết với Valve, đo lường liệu các tác nhân AI có thể giải được 26 buồng thử nghiệm của Portal 2 từ chương 2 đến chương 5 hay không, chỉ tính một buồng là đã giải nếu tác nhân đến được bản đồ tiếp theo trong vòng 300 kế hoạch và 30 đô la. GPT-6.1 Sol và GPT-6 Astra, cả hai đều chạy qua Codex, mỗi mô hình giải được 20 trong số 26 buồng, GPT-6.1 Terra giải được 19, Opus 5.5 giải được 11, Sonnet 5.5 giải được 6, và GPT-6 Luna giải được 0. Tác nhân gửi các lần nhấn phím và xoay góc nhìn, đồng thời nhận ảnh chụp màn hình và vị trí của mình, chỉ có quyền truy cập vào một thư mục ghi chú và không có shell, web hay console; chi phí trung vị cho mỗi buồng được giải dao động từ 0,74 đô la đối với GPT-6.1 Terra đến 13,12 đô la đối với Fable 5.1.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.