DocBlocks phát hành bộ đánh giá docbench cho các mô hình tài liệu cục bộ
Bắt đầu từ đây
DocBlocks đã công bố docbench, một bộ đánh giá tổng hợp chấm điểm 24 mô hình cục bộ trên các tác vụ tài liệu. Bộ kiểm thử bao gồm sáu loại tác vụ — đánh giá, viết, biểu đồ, slide, công cụ hỗ trợ học tập và dọn dẹp bản ghi — với 102 trường hợp kiểm thử và 142 đầu ra, kích thước mô hình từ 0,8B đến 35B tham số. Bộ đánh giá tập trung vào các mô hình nhỏ trong nhóm dưới 12 tỷ tham số. Mỗi mô hình chạy trên llama.cpp, chủ yếu ở bản dựng 4-bit (Q4) với ngữ cảnh 32.768 token, điều mà DocBlocks mô tả là những gì công cụ Gezel của họ cung cấp cho một laptop cấu hình hạn chế. Tất cả tài liệu kiểm thử đều bằng tiếng Anh, và tốc độ không nằm trong điểm số, nên một mô hình chậm mà viết tốt vẫn đạt điểm cao.
Tạo từ các bài viết · cập nhật
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIDocBlocks ra mắt docbench: Đánh giá 24 mô hình nhỏ chạy cục bộ trên các tác vụ tài liệu
Nhóm DocBlocks ra mắt docbench, dùng 102 trường hợp kiểm thử (142 đầu ra) để chấm điểm 24 mô hình cục bộ có tham số từ 0,8B đến 35B trên sáu loại tác vụ tài liệu: phản biện, viết lách, biểu đồ, trang trình chiếu, hỗ trợ học tập và làm sạch bản ghi.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.