Sakana AI 發布 JFinBench 日本金融基準測試
熱點事件持續更新
Sakana AI 發布 JFinBench 日本金融基準測試
1 篇報導1 個報導來源剛剛更新
先了解這件事
AI 綜述
Sakana AI 發布 JFinBench,這是一項日本金融基準測試,由六項 2026 年金融認證考試建構而成,共計 321 道題目,包含書面題與圖像題,並公開了資料集、程式碼與排行榜。 在 12 個大型語言模型中,Claude Fable 5 得分 95.8,GPT-6 Astra 得分 93.6;最佳的開放權重模型 Kimi K3.1 Pro 達到 83.4,儘管據稱在程式設計基準測試上與 GPT-6 Astra 相當,但仍落後約 10 分。Sakana AI 表示,多數失誤來自對日本法規知識的欠缺,而非計算錯誤。 該基準測試以人在迴路中的代理式流程建構,耗費約 12 小時的人工驗證。
AI 依報導生成 · 12 分鐘前更新
最新進展11月16日 23:00
Sakana AI 發布 JFinBench,一個以 2026 年認證考試建構的日本金融基準報導時間線
沿著報導,了解事件的不同側面。
11月16日
- Sakana AI BlogSakana AI 發布 JFinBench,一個以 2026 年認證考試建構的日本金融基準
Sakana AI 發布 JFinBench,這是一個以六項 2026 年金融認證考試建構的日本金融基準,共 321 題,包含書面題與圖像題。在 12 個大型語言模型中,Claude Fable 5 得分 95.8,GPT-6 Astra 得分 93.6,而最佳的開放權重模型 Kimi K3.1 Pro 達到 83.4,儘管據稱在程式設計基準上與 GPT-6 Astra 相當,仍落後約 10 分。多數失誤來自對日本法規知識的欠缺,而非計算錯誤,且該基準是以人機協作(human-in-the-loop)的代理式流程建構,耗費約 12 小時的人工驗證。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。