Compound 發佈 IC Deck Bench 基準測試,用於 AI 代理
先了解這件事
Compound 發布了 IC Deck Bench,這是一項包含 61 項任務的基準測試,用來評估 AI 代理根據資料室(data room)製作私募股權投資委員會 PowerPoint 簡報的能力。在首次發布中,Compound 自家的代理以每項任務 4.38 美元的成本取得 89.2% 的成績,領先於以最大努力運行的 Claude Code 搭配 Claude Opus 5.5(86.1%,每項任務 14.11 美元)、Muse Code(74.3%)、Antigravity 搭配 Gemini 4 Hydrogen(71.2%)以及 Codex CLI 搭配 GPT-6.1 Terra(70.5%)。 這項比較附帶一個條件:除 Compound 外,每個代理每項任務有 90 分鐘的時間,並以它在時限內已交付的任何檔案來評分;而 Compound 則沒有時間限制,並在自己的步驟上限時停止。Compound 將其領先歸因於重寫過的 Excel、PowerPoint 和 Word 引擎,以及將每項任務的部分環節路由到來自多個實驗室的模型上。 這個開源評分器也可在 LibreOffice 上運行,供沒有 Microsoft Office 的使用者使用,不過其分數可能與 PowerPoint 的不同。
AI 依報導生成 · 41 分鐘前更新
報導時間線
沿著報導,了解事件的不同側面。
- Hacker News · AICompound 發布 IC Deck Bench,一個針對打造私募股權 IC 簡報的 AI 代理的 61 項任務基準
Compound 發布 IC Deck Bench,這是一個 61 項任務的基準,用來評分 AI 代理從資料室建立私募股權投資委員會 PowerPoint 簡報的表現,其自家代理以每項任務 4.38 美元的價格拿下 89.2%。次佳的測試框架是 Claude Code 搭配 Claude Opus 5.5 並以最大努力運行,得分 86.1%,每項任務 14.11 美元,其後是 Muse Code 的 74.3%、Antigravity 搭配 Gemini 4 Hydrogen 的 71.2%,以及 Codex CLI 搭配 GPT-6.1 Terra 的 70.5%。Compound 將其領先歸因於自家重寫的 Excel、PowerPoint 與 Word 引擎,以及將每項任務的部分環節路由到多個實驗室的模型。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。