Xây dựng các đánh giá an toàn vững chắc: Khuyến nghị của Anthropic cho đánh giá an toàn AI

Anthropic đã công bố các khuyến nghị để xây dựng đánh giá an toàn AI, dựa trên những cải cách từ cuộc khủng hoảng tái lập của tâm lý học và kinh nghiệm của chính họ trong việc xây dựng các đánh giá cho system card. Bài viết lập luận rằng các đánh giá an toàn rất dễ bị thao túng và thường không đo lường được những gì chúng tuyên bố, thúc giục các nhóm kết hợp nhiều phương pháp và chuyên gia lĩnh vực, chạy đánh giá trong môi trường sandbox, và lựa chọn thiết kế quan sát hoặc nhân quả phù hợp với câu hỏi được đặt ra.