Sakana AI phát hành JFinBench, bộ đánh giá tài chính tiếng Nhật
Bắt đầu từ đây
Sakana AI đã phát hành JFinBench, một bộ đánh giá tài chính tiếng Nhật được xây dựng từ sáu kỳ thi chứng chỉ tài chính năm 2026 với tổng cộng 321 câu hỏi, bao gồm cả câu hỏi viết và câu hỏi dạng hình ảnh, đồng thời công bố bộ dữ liệu, mã nguồn và bảng xếp hạng. Trên 12 LLM, Claude Fable 5 đạt 95,8 và GPT-6 Astra đạt 93,6; mô hình trọng số mở tốt nhất, Kimi K3.1 Pro, đạt 83,4, thấp hơn GPT-6 Astra khoảng 10 điểm dù được cho là ngang bằng với mô hình này trên các bộ đánh giá lập trình. Sakana AI cho biết phần lớn các lỗi đến từ việc thiếu kiến thức về quy định của Nhật Bản chứ không phải lỗi tính toán. Bộ đánh giá được xây dựng bằng một pipeline tác tử có con người trong vòng lặp, mất khoảng 12 giờ để con người xác minh.
Tạo từ các bài viết · cập nhật 12 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Sakana AI BlogSakana AI phát hành JFinBench, bộ đánh giá tài chính tiếng Nhật được xây dựng từ các kỳ thi chứng chỉ năm 2026
Sakana AI phát hành JFinBench, một bộ đánh giá tài chính tiếng Nhật được xây dựng từ sáu kỳ thi chứng chỉ tài chính năm 2026 với tổng cộng 321 câu hỏi, bao gồm cả các câu hỏi dạng văn bản và dạng hình ảnh. Trên 12 LLM, Claude Fable 5 đạt 95,8 và GPT-6 Astra đạt 93,6, trong khi mô hình mở tốt nhất, Kimi K3.1 Pro, đạt 83,4, kém GPT-6 Astra khoảng 10 điểm dù được cho là ngang bằng với nó trên các bộ đánh giá lập trình. Hầu hết các lỗi đến từ việc thiếu kiến thức về các quy định của Nhật Bản chứ không phải lỗi tính toán, và bộ đánh giá được xây dựng bằng một pipeline tác tử có con người trong vòng lặp, mất khoảng 12 giờ để con người xác minh.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.