Sakana AI 发布 JFinBench 日本金融基准
热点事件持续更新
Sakana AI 发布 JFinBench 日本金融基准
1 篇报道1 个报道来源刚刚更新
先了解这件事
AI 综述
Sakana AI 发布了 JFinBench,这是一个日本金融基准,由六项 2026 年金融认证考试构建而成,共 321 道题,包含笔试题和图片题,并公开了数据集、代码和排行榜。 在 12 个大语言模型中,Claude Fable 5 得分 95.8,GPT-6 Astra 得分 93.6;表现最好的开放权重模型 Kimi K3.1 Pro 达到 83.4,尽管据称在编程基准上与 GPT-6 Astra 相当,但仍落后约 10 分。Sakana AI 表示,大多数失败源于缺乏日本法规知识,而非计算错误。 该基准通过人在回路的智能体流水线构建,人工验证耗时约 12 小时。
AI 根据报道生成 · 12 分钟前更新
最新进展11月16日 23:00
Sakana AI 发布 JFinBench:基于 2026 年认证考试构建的日本金融基准报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- Sakana AI BlogSakana AI 发布 JFinBench:基于 2026 年认证考试构建的日本金融基准
Sakana AI 发布了 JFinBench,这是一个基于六项 2026 年金融认证考试构建的日本金融基准,共 321 道题,包含书面题和图片题。在 12 个大语言模型中,Claude Fable 5 得分 95.8,GPT-6 Astra 得分 93.6,而最佳开源权重模型 Kimi K3.1 Pro 达到 83.4,尽管据称其在编程基准上与 GPT-6 Astra 持平,但仍落后约 10 分。大多数失败源于对日本监管知识缺失,而非计算错误;该基准通过人在回路(human-in-the-loop)的智能体流水线构建,人工验证耗时约 12 小时。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。