OSF công bố bộ đánh giá và bảng xếp hạng AI về WPS
Bắt đầu từ đây
Our Secure Future (OSF) đã công bố bộ đánh giá và bảng xếp hạng AI về Phụ nữ, Hòa bình và An ninh (WPS), được xây dựng trên nền tảng Weval của Collective Intelligence Project. Bộ đánh giá cho thấy các mô hình ngôn ngữ lớn có thể đọc thuộc UNSCR 1325 nhưng vẫn thường xuyên bỏ qua yếu tố giới trong phân tích hòa bình và an ninh. OSF mô tả hai kiểu thất bại: thiếu sót thụ động, khi các mô hình loại bỏ phụ nữ và trẻ em gái khỏi các đánh giá thường quy, và nhượng bộ chủ động, khi chúng giúp các nhà ra quyết định lách chính sách. Bộ đánh giá gồm 30 tình huống và một thang tiêu chí 11 mục, được phát hành kèm phân loại học và báo cáo độ tin cậy theo CC BY 4.0, với sự cho phép rõ ràng để sử dụng làm dữ liệu huấn luyện. OSF cho biết bộ đánh giá này miễn phí và bất kỳ ai cũng có thể chạy nó trên Weval và tái tạo bảng xếp hạng. Bộ tình huống chỉ có giá trị đối với các mô hình được công bố trước thời điểm phát hành, và OSF dự định phát hành các tình huống mới định kỳ để giữ bộ đánh giá có giá trị với các mô hình trong tương lai.
Tạo từ các bài viết · cập nhật 13 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AICác mô hình AI biết các nguyên tắc WPS nhưng không áp dụng được, theo kết quả đánh giá chuẩn
Bảng xếp hạng WPS AI của Our Secure Future, được xây dựng trên nền tảng Weval của Collective Intelligence Project, phát hiện các LLM một cách có hệ thống bỏ qua khía cạnh giới trong phân tích hòa bình và an ninh dù chúng có thể đọc thuộc UNSCR 1325. Khoảng trống năng lực WPS xuất hiện dưới dạng thiếu sót thụ động, khi các mô hình loại bỏ phụ nữ và trẻ em gái khỏi các đánh giá thường quy, và đầu hàng chủ động, khi chúng giúp các nhà ra quyết định lách chính sách.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.