Tới nội dung
Sự việc nóngĐang diễn ra

Sakana AI phát hành JFinBench, bộ đánh giá tài chính tiếng Nhật

1 bài viết1 nguồn đưa tinCập nhật Vừa xong

Bắt đầu từ đây

Tóm tắt AI

Sakana AI đã phát hành JFinBench, một bộ đánh giá tài chính tiếng Nhật được xây dựng từ sáu kỳ thi chứng chỉ tài chính năm 2026 với tổng cộng 321 câu hỏi, bao gồm cả câu hỏi viết và câu hỏi dạng hình ảnh, đồng thời công bố bộ dữ liệu, mã nguồn và bảng xếp hạng. Trên 12 LLM, Claude Fable 5 đạt 95,8 và GPT-6 Astra đạt 93,6; mô hình trọng số mở tốt nhất, Kimi K3.1 Pro, đạt 83,4, thấp hơn GPT-6 Astra khoảng 10 điểm dù được cho là ngang bằng với mô hình này trên các bộ đánh giá lập trình. Sakana AI cho biết phần lớn các lỗi đến từ việc thiếu kiến thức về quy định của Nhật Bản chứ không phải lỗi tính toán. Bộ đánh giá được xây dựng bằng một pipeline tác tử có con người trong vòng lặp, mất khoảng 12 giờ để con người xác minh.

Tạo từ các bài viết · cập nhật 12 phút trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

16 tháng 11
  1. Sakana AI Blog
    Sakana AI phát hành JFinBench, bộ đánh giá tài chính tiếng Nhật được xây dựng từ các kỳ thi chứng chỉ năm 2026

    Sakana AI phát hành JFinBench, một bộ đánh giá tài chính tiếng Nhật được xây dựng từ sáu kỳ thi chứng chỉ tài chính năm 2026 với tổng cộng 321 câu hỏi, bao gồm cả các câu hỏi dạng văn bản và dạng hình ảnh. Trên 12 LLM, Claude Fable 5 đạt 95,8 và GPT-6 Astra đạt 93,6, trong khi mô hình mở tốt nhất, Kimi K3.1 Pro, đạt 83,4, kém GPT-6 Astra khoảng 10 điểm dù được cho là ngang bằng với nó trên các bộ đánh giá lập trình. Hầu hết các lỗi đến từ việc thiếu kiến thức về các quy định của Nhật Bản chứ không phải lỗi tính toán, và bộ đánh giá được xây dựng bằng một pipeline tác tử có con người trong vòng lặp, mất khoảng 12 giờ để con người xác minh.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.