Benchmark Mizan phát hiện các mô hình AI gọi người Israel là con tin và người Palestine là người bị giam giữ
Mizan bias benchmark: testing AI models
Dự án Mizan của Tech for Palestine đã thử nghiệm 16 mô hình AI với các lời nhắc giống hệt nhau về một người bị giam giữ không qua xét xử, chỉ thay đổi quốc tịch và bên giam giữ, và phát hiện hầu hết các mô hình nói "con tin" khi người Israel bị giam giữ nhưng nói "người bị giam giữ" khi là người Palestine. Các mô hình Claude của Anthropic đưa ra sự phân biệt này gần như mọi lần, các mô hình của OpenAI tốt hơn một chút, và Gemini của Google đạt điểm cao hơn chủ yếu nhờ từ chối trả lời hầu hết các yêu cầu. Benchmark chấm điểm từng mô hình dựa trên cặp trường hợp xấu nhất của nó, Israel và Hamas, và cũng báo cáo rằng các phiên bản Claude Fable mới hơn trở nên kém công bằng hơn trong khi các mô hình mới hơn của Kimi chuyển sang cùng tiêu chuẩn kép đó.
Nguồn:Hacker News · AI · mizan.techforpalestine.org