Portal2Bench 測試 AI 代理能否解開《傳送門 2》關卡

Portal2Bench 是一個與 Valve 無關的獨立基準測試，用來衡量 AI 代理能否解開《傳送門 2》第 2 至第 5 章的 26 個測試關卡；只有當代理在 300 次規劃與 30 美元預算內抵達下一張地圖，該關卡才算解開。透過 Codex 執行的 GPT-6.1 Sol 與 GPT-6 Astra 各解開 26 個關卡中的 20 個，GPT-6.1 Terra 解開 19 個，Opus 5.5 解開 11 個，Sonnet 5.5 解開 6 個，GPT-6 Luna 解開 0 個。代理會送出按鍵與視角轉動，並接收螢幕截圖與自身位置，只能存取一個筆記資料夾，無法使用 shell、網路或主控台；每個已解開關卡的成本中位數從 GPT-6.1 Terra 的 0.74 美元到 Fable 5.1 的 13.12 美元不等。