Sakana AI Blog· Sakana AI·· เมื่อสักครู่คะแนน AI58
Sakana AI เปิดตัว JFinBench เกณฑ์มาตรฐานการเงินญี่ปุ่นที่สร้างจากข้อสอบใบรับรองปี 2026
JFinBench: 最新の金融資格試験を用いた日本語金融ベンチマークの公開
สรุปโดย AI
Sakana AI เปิดตัว JFinBench เกณฑ์มาตรฐานด้านการเงินภาษาญี่ปุ่นที่สร้างจากข้อสอบใบรับรองทางการเงินปี 2026 จำนวน 6 ชุด รวม 321 ข้อ ประกอบด้วยข้อสอบแบบเขียนและแบบรูปภาพ จากการทดสอบกับ LLM 12 โมเดล Claude Fable 5 ได้คะแนน 95.8 และ GPT-6 Astra ได้ 93.6 ขณะที่โมเดลโอเพนเวตที่ดีที่สุดคือ Kimi K3.1 Pro ทำได้ 83.4 ต่ำกว่า GPT-6 Astra ประมาณ 10 คะแนน แม้จะมีรายงานว่าทำคะแนนได้เท่ากันในเกณฑ์มาตรฐานการเขียนโค้ด ข้อผิดพลาดส่วนใหญ่มาจากการขาดความรู้เกี่ยวกับกฎระเบียบของญี่ปุ่นมากกว่าข้อผิดพลาดในการคำนวณ และเกณฑ์มาตรฐานนี้สร้างขึ้นด้วยไปป์ไลน์แบบเอเจนต์ที่มีมนุษย์อยู่ในวงจร ซึ่งใช้เวลาตรวจสอบโดยมนุษย์ประมาณ 12 ชั่วโมง
แหล่งข่าว:Sakana AI Blog · sakana.ai