跳至正文
OpenAI Alignment Blog· Kaiwen Wang, Oliver Cheng, Zheng Wen, Mehmet Yatbaz, Saachi Jain, Chuan Guo, Alec Helyar·· 1 天前AI 評分58

OpenAI 使用自動化紅隊測試來提升 GPT-6 Astra 與 Sol 的模糊穩健性

Improving Fuzzy Robustness in LLM Safety with Automated Red Teaming

AI 導讀

OpenAI 研究人員描述,自動化紅隊測試以 GPT-5.6 Sol 系列推理模型作為攻擊方,對 GPT-5.4 與 GPT-5.5 防守方進行攻擊,產生合成越獄,並將其用作 GPT-6 Astra 與 Sol 的強化學習訓練資料。在先前針對 GPT-5.4 與 5.5 的攻擊所產生的固定越獄上,GPT-6 Astra 在網路安全方面有 91.5% 安全作答,而 GPT-5.6 Sol 為 59%;且在自適應多輪評估中,它在所有攻擊方預算下都保持更穩健。OpenAI 報告指出,穩健性訓練並未提高對良性任務的拒答率,並引用 GPT-6 Astra 系統卡中安全與有用性方面的帕雷托改進。

來源:OpenAI Alignment Blog · alignment.openai.com