Redwood Research· Gosha Kozhevnikov·· 28 天前AI 评分58
Redwood Research 推出 Screwtape:一条通过编辑智能体转录本来对仅动作监控器进行红队测试的流水线
Screwtape: Adversarial Transcript Editing for Monitor Red-Teaming
AI 导读
Redwood Research 推出 Screwtape,这是一条将攻击插入真实智能体转录本并反复精炼、直到仅动作监控器不再能捕获它的流水线,并由 LLM 验证器检查真实性与严重性。在 94 份唯一转录本上的 252 次运行中,它产生了 35 个规避了 Redwood 自家基于 Opus 4.8 和 Gemini 3.1 Pro 的监控器的攻击,其中 6 个还规避了某前沿开发者提供的留出监控器,并经人工审查确认为有效。作者指出,该流水线无法给出定量安全估计,目前无法为思维链监控器生成推理轨迹,且不会公开发布,但愿意与研究人员分享。
来源:Redwood Research · blog.redwoodresearch.org