Sakana AI Blog· Sakana AI·· 刚刚AI 评分58
Sakana AI 发布 JFinBench:基于 2026 年认证考试构建的日本金融基准
JFinBench: 最新の金融資格試験を用いた日本語金融ベンチマークの公開
AI 导读
Sakana AI 发布了 JFinBench,这是一个基于六项 2026 年金融认证考试构建的日本金融基准,共 321 道题,包含书面题和图片题。在 12 个大语言模型中,Claude Fable 5 得分 95.8,GPT-6 Astra 得分 93.6,而最佳开源权重模型 Kimi K3.1 Pro 达到 83.4,尽管据称其在编程基准上与 GPT-6 Astra 持平,但仍落后约 10 分。大多数失败源于对日本监管知识缺失,而非计算错误;该基准通过人在回路(human-in-the-loop)的智能体流水线构建,人工验证耗时约 12 小时。
来源:Sakana AI Blog · sakana.ai