Đánh giá phát hiện AgentDojo đã gán nhãn sai 433 lượt tấn công là an toàn
Bắt đầu từ đây
Một cuộc đánh giá AgentDojo, một bộ chuẩn để kiểm tra liệu các tác nhân AI có chống lại được các cuộc tấn công chèn lệnh (prompt-injection) hay không, đã phát hiện rằng 433 lượt chạy được chấm là "không tấn công" mặc dù các tác nhân đã thực hiện hành động của kẻ tấn công. Cuộc đánh giá cũng cho biết nó đã bỏ sót 55 trong số 744 trường hợp. Tác giả của cuộc đánh giá đã phát hành một công cụ chạy lại các phát hiện của AgentDojo trên một mô hình được chọn và niêm phong bằng chứng để xác minh checksum ngoại tuyến; công cụ này có sẵn trên PyPI. Các phát hiện này nằm trong một bản preprint chưa được bình duyệt, vì vậy tỷ lệ lỗi là tuyên bố của chính người đánh giá chứ không phải kết quả được xác nhận độc lập.
Tạo từ các bài viết · cập nhật 2 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIKiểm toán phát hiện AgentDojo chấm 433 lượt chạy là không bị tấn công dù agent đã thực thi hành động của kẻ tấn công
2 đã bỏ sót 55 trong số 744. x trả lời rằng nó chấm là bị tấn công như cảnh báo. 0 trên PyPI) để kiểm toán các phán quyết, chạy lại các phát hiện của AgentDojo trên một mô hình được chọn, và niêm phong bằng chứng để xác minh checksum ngoại tuyến; bản tiền ấn phẩm chưa được bình duyệt.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 9
- Đỉnh, trong khoảng so sánh được
- 1020 tháng 11 01:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.