跳至正文
熱點事件觀察中

OpenAI 使用自動化紅隊測試來訓練 GPT-6 的抗越獄能力

1 篇報導1 個報導來源1 天前更新

先了解這件事

AI 綜述

OpenAI 研究人員報告,自動化紅隊測試——由 GPT-5.6 Sol 推理模型攻擊 GPT-5.4 與 GPT-5.5 防禦方——產生了合成越獄,隨後被用作 GPT-6 Astra 與 Sol 的強化學習訓練資料。目標是讓模型在網路、生物與暴力活動等高風險領域中抵抗越獄。 在取自先前針對 GPT-5.4 與 GPT-5.5 攻擊的固定越獄上,GPT-6 Astra 安全地回答了 91.5% 的網路相關提示,相較之下 GPT-5.6 Sol 為 59%,且在自適應多輪評估中,它在所有攻擊者預算下都保持更強的穩健性。OpenAI 表示,穩健性訓練並未增加對良性任務的拒絕,並引用 GPT-6 Astra 系統卡中安全性與有用性的帕雷托改進作為依據。 OpenAI 指出,在部署中,模型安全訓練只是更廣泛防護系統中的一層。

AI 依報導生成 · 16 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月12日
  1. OpenAI Alignment Blog
    OpenAI 使用自動化紅隊測試來提升 GPT-6 Astra 與 Sol 的模糊穩健性

    OpenAI 研究人員描述,自動化紅隊測試以 GPT-5.6 Sol 系列推理模型作為攻擊方,對 GPT-5.4 與 GPT-5.5 防守方進行攻擊,產生合成越獄,並將其用作 GPT-6 Astra 與 Sol 的強化學習訓練資料。在先前針對 GPT-5.4 與 5.5 的攻擊所產生的固定越獄上,GPT-6 Astra 在網路安全方面有 91.5% 安全作答,而 GPT-5.6 Sol 為 59%;且在自適應多輪評估中,它在所有攻擊方預算下都保持更穩健。OpenAI 報告指出,穩健性訓練並未提高對良性任務的拒答率,並引用 GPT-6 Astra 系統卡中安全與有用性方面的帕雷托改進。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。