Compound 发布 IC Deck Bench 基准,用于评估 AI 智能体
先了解这件事
Compound 发布了 IC Deck Bench,这是一个包含 61 项任务的基准测试,用于评估 AI 智能体根据数据室构建私募股权投资委员会 PowerPoint 演示文稿的能力。在首次发布中,Compound 自家智能体以每项任务 4.38 美元的成本获得 89.2% 的得分,领先于以最大努力运行的 Claude Code 搭配 Claude Opus 5.5(86.1%,每项任务 14.11 美元)、Muse Code(74.3%)、Antigravity 搭配 Gemini 4 Hydrogen(71.2%)以及 Codex CLI 搭配 GPT-6.1 Terra(70.5%)。 这一比较附带一个条件:除 Compound 外,每个智能体每项任务有 90 分钟时间,并按其在时限内已交付的文件进行评分;而 Compound 运行没有时间限制,仅在其自身的步数限制处停止。Compound 将其领先归因于重写后的 Excel、PowerPoint 和 Word 引擎,以及将每项任务的部分环节路由到来自多个实验室的模型上。 该开源评分器还可在 LibreOffice 上运行,供没有 Microsoft Office 的用户使用,不过其得分可能与 PowerPoint 有所不同。
AI 根据报道生成 · 41 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hacker News · AICompound 发布 IC Deck Bench:一个面向构建私募股权 IC 演示文稿的 AI 智能体的 61 项任务基准
Compound 发布了 IC Deck Bench,这是一个包含 61 项任务的基准,用于评估 AI 智能体根据数据室构建私募股权投资委员会 PowerPoint 演示文稿的能力;其自家智能体得分 89.2%,每项任务成本 4.38 美元。表现第二好的测试框架是 Claude Code 搭配 Claude Opus 5.5(最高努力程度),得分 86.1%,每项任务成本 14.11 美元;其后依次是 Muse Code(74.3%)、Antigravity 搭配 Gemini 4 Hydrogen(71.2%)以及 Codex CLI 搭配 GPT-6.1 Terra(70.5%)。Compound 将其领先归因于其自行重写的 Excel、PowerPoint 和 Word 引擎,以及将每项任务的部分环节路由到来自多个实验室的模型上。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。