OpenAI sử dụng red teaming tự động để huấn luyện khả năng chống jailbreak cho GPT-6
Bắt đầu từ đây
Các nhà nghiên cứu OpenAI báo cáo rằng red teaming tự động, trong đó một mô hình lập luận GPT-5.6 Sol tấn công các mô hình phòng thủ GPT-5.4 và GPT-5.5, đã tạo ra các jailbreak tổng hợp và sau đó được dùng làm dữ liệu huấn luyện học tăng cường cho GPT-6 Astra và Sol. Mục tiêu là làm cho các mô hình chống lại jailbreak trong các lĩnh vực rủi ro cao như an ninh mạng, sinh học và hoạt động bạo lực. Trên các jailbreak cố định lấy từ các cuộc tấn công trước đó nhắm vào GPT-5.4 và GPT-5.5, GPT-6 Astra trả lời an toàn 91,5% các prompt liên quan đến an ninh mạng, so với 59% của GPT-5.6 Sol, và nó vẫn vững vàng hơn trên mọi ngân sách của kẻ tấn công trong một đánh giá đa lượt thích ứng. OpenAI cho biết việc huấn luyện độ vững vàng không làm tăng việc từ chối các tác vụ lành tính, dẫn chứng một cải thiện Pareto về an toàn và hữu ích trong thẻ hệ thống của GPT-6 Astra. OpenAI lưu ý rằng khi triển khai, huấn luyện an toàn mô hình chỉ là một lớp trong hệ thống biện pháp bảo vệ rộng hơn.
Tạo từ các bài viết · cập nhật 14 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- OpenAI Alignment BlogOpenAI sử dụng red teaming tự động để cải thiện độ bền vững mờ trong GPT-6 Astra và Sol
Các nhà nghiên cứu OpenAI mô tả cách red-teaming tự động, sử dụng một mô hình suy luận thuộc họ GPT-5.6 Sol làm kẻ tấn công nhắm vào các phòng thủ GPT-5.4 và GPT-5.5, đã tạo ra các jailbreak tổng hợp được dùng làm dữ liệu huấn luyện RL cho GPT-6 Astra và Sol. Trên các jailbreak cố định từ các cuộc tấn công trước đó nhắm vào GPT-5.4 và 5.5, GPT-6 Astra trả lời an toàn 91,5% về mảng cyber so với 59% của GPT-5.6 Sol, và nó duy trì độ bền vững cao hơn trên tất cả ngân sách của kẻ tấn công trong một đánh giá đa lượt thích ứng. OpenAI báo cáo rằng việc huấn luyện độ bền vững không làm tăng tỷ lệ từ chối các tác vụ lành tính, dẫn chứng một cải thiện Pareto về an toàn và hữu ích trong thẻ hệ thống của GPT-6 Astra.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.