Sakana AI Blog· Sakana AI·· 剛剛AI 評分58
Sakana AI 發布 JFinBench,一個以 2026 年認證考試建構的日本金融基準
JFinBench: 最新の金融資格試験を用いた日本語金融ベンチマークの公開
AI 導讀
Sakana AI 發布 JFinBench,這是一個以六項 2026 年金融認證考試建構的日本金融基準,共 321 題,包含書面題與圖像題。在 12 個大型語言模型中,Claude Fable 5 得分 95.8,GPT-6 Astra 得分 93.6,而最佳的開放權重模型 Kimi K3.1 Pro 達到 83.4,儘管據稱在程式設計基準上與 GPT-6 Astra 相當,仍落後約 10 分。多數失誤來自對日本法規知識的欠缺,而非計算錯誤,且該基準是以人機協作(human-in-the-loop)的代理式流程建構,耗費約 12 小時的人工驗證。
來源:Sakana AI Blog · sakana.ai