跳至正文
熱點事件持續更新

Sakana AI 發布 JFinBench 日本金融基準測試

1 篇報導1 個報導來源剛剛更新

先了解這件事

AI 綜述

Sakana AI 發布 JFinBench,這是一項日本金融基準測試,由六項 2026 年金融認證考試建構而成,共計 321 道題目,包含書面題與圖像題,並公開了資料集、程式碼與排行榜。 在 12 個大型語言模型中,Claude Fable 5 得分 95.8,GPT-6 Astra 得分 93.6;最佳的開放權重模型 Kimi K3.1 Pro 達到 83.4,儘管據稱在程式設計基準測試上與 GPT-6 Astra 相當,但仍落後約 10 分。Sakana AI 表示,多數失誤來自對日本法規知識的欠缺,而非計算錯誤。 該基準測試以人在迴路中的代理式流程建構,耗費約 12 小時的人工驗證。

AI 依報導生成 · 12 分鐘前更新

報導時間線

沿著報導,了解事件的不同側面。

11月16日
  1. Sakana AI Blog
    Sakana AI 發布 JFinBench,一個以 2026 年認證考試建構的日本金融基準

    Sakana AI 發布 JFinBench,這是一個以六項 2026 年金融認證考試建構的日本金融基準,共 321 題,包含書面題與圖像題。在 12 個大型語言模型中,Claude Fable 5 得分 95.8,GPT-6 Astra 得分 93.6,而最佳的開放權重模型 Kimi K3.1 Pro 達到 83.4,儘管據稱在程式設計基準上與 GPT-6 Astra 相當,仍落後約 10 分。多數失誤來自對日本法規知識的欠缺,而非計算錯誤,且該基準是以人機協作(human-in-the-loop)的代理式流程建構,耗費約 12 小時的人工驗證。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。