Sakana AI Releases JFinBench Japanese Financial Benchmark
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
Sakana AI released JFinBench, a Japanese financial benchmark built from six 2026 financial certification exams totaling 321 questions, including written and image-based items, and published the dataset, code and leaderboard. Across 12 LLMs, Claude Fable 5 scored 95.8 and GPT-6 Astra 93.6; the best open-weight model, Kimi K3.1 Pro, reached 83.4, about 10 points behind GPT-6 Astra despite reportedly matching it on coding benchmarks. Sakana AI says most failures came from missing knowledge of Japanese regulations rather than calculation errors. The benchmark was built with a human-in-the-loop agentic pipeline that took about 12 hours of human verification.
สร้างจากรายงาน · อัปเดต 12 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Sakana AI BlogSakana AI เปิดตัว JFinBench เกณฑ์มาตรฐานการเงินญี่ปุ่นที่สร้างจากข้อสอบใบรับรองปี 2026
Sakana AI เปิดตัว JFinBench เกณฑ์มาตรฐานด้านการเงินภาษาญี่ปุ่นที่สร้างจากข้อสอบใบรับรองทางการเงินปี 2026 จำนวน 6 ชุด รวม 321 ข้อ ประกอบด้วยข้อสอบแบบเขียนและแบบรูปภาพ จากการทดสอบกับ LLM 12 โมเดล Claude Fable 5 ได้คะแนน 95.8 และ GPT-6 Astra ได้ 93.6 ขณะที่โมเดลโอเพนเวตที่ดีที่สุดคือ Kimi K3.1 Pro ทำได้ 83.4 ต่ำกว่า GPT-6 Astra ประมาณ 10 คะแนน แม้จะมีรายงานว่าทำคะแนนได้เท่ากันในเกณฑ์มาตรฐานการเขียนโค้ด ข้อผิดพลาดส่วนใหญ่มาจากการขาดความรู้เกี่ยวกับกฎระเบียบของญี่ปุ่นมากกว่าข้อผิดพลาดในการคำนวณ และเกณฑ์มาตรฐานนี้สร้างขึ้นด้วยไปป์ไลน์แบบเอเจนต์ที่มีมนุษย์อยู่ในวงจร ซึ่งใช้เวลาตรวจสอบโดยมนุษย์ประมาณ 12 ชั่วโมง
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม