Portal2Bench 基準測試檢驗 AI 代理能否解開《傳送門 2》的關卡
先了解這件事
Portal2Bench 是與 Valve 無關的獨立基準測試,已公布結果,衡量 AI 代理能否解開《傳送門 2》第 2 至第 5 章的 26 個測試關卡。只有當代理在 300 次規劃與 30 美元以內抵達下一張地圖時,該關卡才算解開;每個關卡都獨立重新開始,執行費用按 API 定價計算。 透過 Codex 執行時,GPT-6.1 Sol 與 GPT-6 Astra 各解開 26 個關卡中的 20 個,GPT-6.1 Terra 解開 19 個,Opus 5.5 解開 11 個,Sonnet 5.5 解開 6 個,GPT-6 Luna 解開 0 個。代理送出按鍵並檢視轉向,接收螢幕截圖與自身位置,只能存取一個筆記資料夾,沒有 shell、網路或主控台。每個已解開關卡的中位成本從 GPT-6.1 Terra 的 0.74 美元到 Fable 5.1 的 13.12 美元不等。 Portal2Bench 表示,多數模型以最大努力執行,Gemini 4 Argon 為高,且由於算力限制與使用額度,多數關卡仍在執行中。
AI 依報導生成 · 13 小時前更新
報導時間線
沿著報導,了解事件的不同側面。
- Hacker News · AIPortal2Bench 測試 AI 代理能否解開《傳送門 2》關卡
Portal2Bench 是一個與 Valve 無關的獨立基準測試,用來衡量 AI 代理能否解開《傳送門 2》第 2 至第 5 章的 26 個測試關卡;只有當代理在 300 次規劃與 30 美元預算內抵達下一張地圖,該關卡才算解開。透過 Codex 執行的 GPT-6.1 Sol 與 GPT-6 Astra 各解開 26 個關卡中的 20 個,GPT-6.1 Terra 解開 19 個,Opus 5.5 解開 11 個,Sonnet 5.5 解開 6 個,GPT-6 Luna 解開 0 個。代理會送出按鍵與視角轉動,並接收螢幕截圖與自身位置,只能存取一個筆記資料夾,無法使用 shell、網路或主控台;每個已解開關卡的成本中位數從 GPT-6.1 Terra 的 0.74 美元到 Fable 5.1 的 13.12 美元不等。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。