Tới nội dung
Sakana AI Blog· Sakana AI·· Vừa xongĐiểm AI58

Sakana AI phát hành JFinBench, bộ đánh giá tài chính tiếng Nhật được xây dựng từ các kỳ thi chứng chỉ năm 2026

JFinBench: 最新の金融資格試験を用いた日本語金融ベンチマークの公開

Tóm tắt bằng AI

Sakana AI phát hành JFinBench, một bộ đánh giá tài chính tiếng Nhật được xây dựng từ sáu kỳ thi chứng chỉ tài chính năm 2026 với tổng cộng 321 câu hỏi, bao gồm cả các câu hỏi dạng văn bản và dạng hình ảnh. Trên 12 LLM, Claude Fable 5 đạt 95,8 và GPT-6 Astra đạt 93,6, trong khi mô hình mở tốt nhất, Kimi K3.1 Pro, đạt 83,4, kém GPT-6 Astra khoảng 10 điểm dù được cho là ngang bằng với nó trên các bộ đánh giá lập trình. Hầu hết các lỗi đến từ việc thiếu kiến thức về các quy định của Nhật Bản chứ không phải lỗi tính toán, và bộ đánh giá được xây dựng bằng một pipeline tác tử có con người trong vòng lặp, mất khoảng 12 giờ để con người xác minh.

Nguồn:Sakana AI Blog · sakana.ai