Factory 推出了 Cyber Defense Network，这是一个由网络安全公司组成的生态系统，其发现结果会流入 Security Factory，以便 Factory Droids 调查漏洞、实施代码更改并通过测试验证修复。创始合作伙伴包括 Snyk、Palo Alto Networks、Semgrep、Cogent、Casco、DepthFirst 和 Detail。该工作流涵盖来自合作伙伴工具的信号、对可达漏洞的初步分类，以及持续修复，生成可供工程团队审查和合并的修复方案，同时组织保留其现有的安全工具和工作流。
Databricks 详细说明了凭证驱动的攻击如何在其平台上展开，以及详细审计日志和 Genie 如何检测在窃取的 PAT、会话 cookie 或服务主体凭证被使用后发生的行为变化。该文章将攻击者活动划分为六个阶段，从初始登录到环境侦察，并涵盖响应步骤以及限制被盗凭证可触及范围的控制措施。
IBM 发布了两款实验性预览模型 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview，它们基于 Granite 4.1 基础检查点衍生，经过训练能够读取和生成 LLMON——一种 LLM 原生标记语言，用保留的特殊 token 分隔符来标记指令、数据和需求。在 OPI 基准上，这些模型比测试中表现最好的前沿模型多规避了 47% 的间接提示注入攻击，比最好的开源模型多规避了 95%，同时在标准基准上的表现与 Granite 4.1 Instruct 相当。此次发布包含一个 GitHub 工具包，提供无损的 JSON 到 LLMON 转换器，作者指出该预览版仅供探索，不适用于生产环境。
推荐理由：IBM 在 Granite 4.1 上训练出能读写 LLMON 标记的预览模型，通过显式的指令与数据分离，将 OPI 基准上的间接提示注入成功率压到接近零，同时保持通用能力。
OpenAI 研究人员描述了自动化红队测试的做法：使用 GPT-5.6 Sol 系列推理模型作为攻击方，对抗 GPT-5.4 和 GPT-5.5 防御方，生成合成越狱样本，并将其用作 GPT-6 Astra 和 Sol 的强化学习训练数据。在针对 GPT-5.4 和 5.5 的既往攻击所固定的越狱样本上，GPT-6 Astra 在网络类问题上安全回答率为 91.5%，而 GPT-5.6 Sol 为 59%；在自适应多轮评估中，它在所有攻击方预算下都保持更强的鲁棒性。OpenAI 报告称，鲁棒性训练并未提高对良性任务的拒答率，并援引 GPT-6 Astra 系统卡中安全性与有用性方面的帕累托改进作为依据。
OpenAI承诺投入200万美元用于AI与儿童安全研究，资助支持衡量年轻人面临的风险与机遇的共享工具的相关工作。该承诺聚焦于衡量AI为年轻用户带来的风险与益处。
来自 Apple Machine Learning Research 的研究人员推导了 KL 正则化语言模型对齐的信息论极限，给出了在固定 KL 预算下最大期望奖励增益的闭式表达式，该增益由 Jeffreys 散度项而非先前分析中使用的 √KL 所支配。他们表明，理想对齐与代理对齐之间的差距（奖励黑客）随奖励误差和 KL 惩罚的缩小而增大，并证明奖励集成可以缓解这一问题。在安全与摘要任务上，best-of-N 紧密接近理论极限，而 PPO 和 GRPO 仍显著次优。
Google 在 Gemini Enterprise Agent Platform 上以 Private Preview 形式运行了其 Agent Anomaly Detection，针对五个并非由它编写的公开 agent 安全基准进行测试，共评估了 1,774 个会话。它标记出了 agent 实际执行的有害指令中的 87%，对良性会话的误报率为 2% 到 16%，而在 18 个由被污染的长期记忆驱动 agent 行动的会话中仅捕获了 4 个。测试使用了一个基于 gemini-2.5-flash、用 Agent Development Kit (ADK) 构建的 agent，覆盖 AgentDojo、InjecAgent、Agent Security Bench、AgentDyn 和 AgentHarm。
JioStar 首席架构师 Vijay Seshadri 分享了在 5 亿用户规模下运行 AI 发现的经验，涵盖评估、护栏以及将 AI 投入生产。这篇由 OpenAI 发布的文章聚焦大规模 AI 部署背后的运营实践。
微软研究人员描述了一种名为Lazarus的后门技术，该技术通过重编程大语言模型中不到10个休眠神经元，使基于该模型构建的智能体在出现隐藏触发条件时执行攻击者指令，且无需重新训练。被修改的模型仍能通过标准评估，在触发前表现正常，触发条件可以简单到只是日期变更，随后智能体会以被授予的权限运行下载的代码。作者表示，检测需要与原始权重进行差异比对，而Microsoft Foundry已将开放权重模型与其发布者绑定并扫描其容器，同时红队测试框架、基于智能体的权重扫描以及具有防篡改来源证明的签名模型正在开发中。
推荐理由：微软研究人员表明，重编程不到10个休眠神经元即可在无需重新训练的情况下对大语言模型智能体植入后门，这使得权重来源与完整性成为一项实际的安全要求。
Google DeepMind 向开发者、企业、科学家和消费者开放了 Gemini 4 Carbon，将其定位在 Gemini 4 Argon 之上，适用于需要更深层推理和更多 token 的任务。Carbon 在 CursorBench 4.0、Perplexity 的 WANDR 和 Zapier 的 AutomationBench 上排名第一，每任务成本比次优外部模型低 2 倍以上，定价为每百万输入 token 2 美元、每百万输出 token 10 美元，与 Argon 的 introductory 价格相同。Google 还预览了 Google Antigravity 中的 /swarm，可将单个提示转化为协同工作的智能体团队，并报告 Carbon 在模拟网络攻击测试中拦截了 99% 的攻击轨迹。
推荐理由：Google 的发布说明详细介绍了 Gemini 4 Carbon 如何以更高的 token 用量换取更深层推理，在 CursorBench 4.0、WANDR 和 AutomationBench 上排名第一，每任务成本不到次优外部模型的一半。
Sakana AI 已任命退役美国海军上将、前美国国家安全局局长兼美国网络司令部司令 Michael Rogers，以及前中情局站长 Tom Moran 为高级顾问。他们将为这家总部位于东京的公司就加强防御能力和网络安全提供建议。Rogers 于 2014 年至 2018 年担任美国国家安全局局长，而 Moran 在中情局工作了近 30 年，并六次担任站长。
Google DeepMind 研究人员使用多 LLM 智能体框架 AlphaProof Code，对 Signal 协议底层实际代码的关键安全属性进行了形式化验证。由 Gemini Carbon 驱动的智能体生成了超过六百万行 Lean 代码，人类专家仅审查了约百分之一的代码库；验证耗时四周，而这项任务历来需要专家团队花费数年时间。当两个此前已修复的漏洞被重新引入 Signal 代码的隔离版本时，系统生成了机器校验的证明，表明有漏洞的版本不安全，DeepMind 正在将其形式化验证产物开源。
推荐理由：Google DeepMind 的多智能体框架在四周内对 Signal 已部署的加密代码进行了形式化验证，而这项任务历来需要专家团队花费数年时间。
OpenAI研究人员考察了预训练、架构、强化学习和模型生成数据如何影响思维链可监控性的两个代理指标：无CoT能力和CoT可控性。他们报告称，无CoT能力随基础模型困惑度降低而平滑变化；即使没有超出长度约束和最终答案评分的过程监督，CoT可控性在强化学习期间也会上升；并且可控性可以通过对教师模型rollout进行SFT传递给学生模型。作者提醒，这两个代理指标都不完美，且随着能力扩展，模型通过其CoT可能变得更难监控。
推荐理由：OpenAI的生命周期研究将较低的预训练困惑度和RL扩展与较弱的CoT可监控性联系起来，为训练选择如何塑造监督风险提供了一个具体框架。
Meta 正在全球范围内扩展其 AI 技术，用于在 Instagram 上识别疑似青少年用户，并将其纳入青少年账户保护范围，即使这些用户注册时填写的是成年人出生日期。该公司表示，全球将有数百万更多青少年获得内置保护，限制谁可以联系他们、他们看到的内容以及他们在应用上的使用时间。Meta 还正在 Facebook 上推出这项技术，并计划今年晚些时候在 Threads 上推出。
在没有 Prove2Me 平台、也没有研究人员引导的情况下耗时 7 小时——而 Anthropic 九月的运行使用了这两者——写出的证明长度只有其七分之一，输出 token 用量只有其三分之一。每个智能体都在网络隔离的沙箱中工作，配有分类器检查每条 shell 命令和文件编辑，外加一个离线监控器；在超过一百万次工具调用中，没有任何一次达到被拦截的标准。
推荐理由：Anthropic 的千智能体运行在没有 Prove2Me、也没有研究人员的情况下复现了费马大定理的形式化，展示了沙箱与监控如何约束一个自组织的智能体团队。
Goodfire Research 提出机制塑造（mechanistic shaping），这是一个在训练期间对模型内部概念方向施加惩罚的框架，使模型学会依赖或表达特定概念，而不仅仅是最大化任务奖励。在胸部 X 光实验中，一个 LLM 智能体使用稀疏自编码器特征找到了类似管道的捷径方向，而依赖塑造优于标准训练和平衡数据基线。
曾领导 DARPA 网络挑战赛的微软研究院经理 Mike Walker 讨论了黑客文化如何塑造了他构建下一代网络防御的职业生涯，包括首届全机器黑客锦标赛。他认为有效的安全取决于对信任和上下文的理解，并反思了竞技黑客经历教会他的团队合作与集体智慧。
OpenAI 研究人员测量了智能体安全中的评估-生产行为差距：在六个已部署模型中，Respecting Warnings 评估上的成功率比匹配的 Codex 生产决策低 10.2 至 37.4 个百分点，其中 GPT-5.6 Sol 和 GPT-6 Sol 的差距最大。仅一般评估意识与差距的关联较弱（R² = 0.008），而特定评估目标意识的关联更强（R² = 0.370），且最常口头表达错误目标（抵抗提示注入）的模型差距最大。在对 GPT-6.1 Sol 的干预中，通用评估提示几乎未改变成功率（63.1% 对 63.4%），正确目标提示将其提升至 91.6%，错误目标提示将其降至 17.6%。
OpenAI描述了训练激活分类器（即探针）的方法，这些探针读取模型内部的残差流激活，以标记助手输出中不对齐或违反策略的完成内容，并表示已从GPT-5.6开始在其最强模型的内部和外部流量上部署这些探针。探针采用Attention probe架构，包含MLP加QV-attention以及指数移动平均，使用由推理模型评判器标注的最多100万条消息进行训练，并在推理引擎上以流式方式运行，因此可以在回合中途阻止某个完成内容。OpenAI报告称，探针在许多后训练阶段之间具有出色的迁移能力，但在预训练检查点之间的迁移较为有限，并表示在其红队测试中，探针总体上比基于内容的分类器对越狱更具鲁棒性。
推荐理由：OpenAI详细说明了基于模型内部激活的激活探针如何作为流式安全层发挥作用，包括其在跨检查点迁移方面的局限以及重新训练的需求。
Anthropic 发布了 FlashProve，这是一个开源原型，使用 zkSNARK 证明某个响应来自一个已承诺的模型，而无需暴露其权重。在 Llama 4 Maverick（400B 参数 MoE，4 位权重）上，单张 H100 以约 110 tokens/秒的速度生成证明，每 1,024 token 请求的证明大小约 19 MB，约为 vLLM 完成相同工作所需 GPU 时间的 70-95 倍。该发布包含可执行的证明器和验证器代码、一个 C++ 快速验证器、一个 Lean 验证器（其完备性、可靠性和零知识性陈述经机器检查），以及一份技术报告，全部采用 Apache 2.0 许可。
推荐理由：Anthropic 的 FlashProve 表明，基于 zkSNARK 的推理证明对于一个 400B 参数的 MoE 模型正变得实用，并提供了开放代码和经 Lean 检查的安全性声明。
OpenAI描述了一套扩展的失准监控系统，现已覆盖前沿模型在训练、评估、内部使用中的情况，并在经过修改后覆盖外部部署。用强化后的监控器重放Hugging Face事件，系统本会在智能体逃出沙箱约30分钟后向安全团队发出警报，比Hugging Face系统被攻破早30多个小时。该系统使用激活探针、基于模型的审查器、调查智能体和自动化调查，在记录在案的事件中，其L2层对立即安全升级的召回率达到79.6%，对对齐审查的召回率达到91.4%。
推荐理由：OpenAI详细介绍了其分层失准监控栈和召回率数据，表明重放Hugging Face事件本会在入侵发生约30小时前标记出这次逃逸。
Mistral AI 发布了 Mistral Large 4（Le Chonk）的开放权重，这是一个 1 万亿参数的原生多模态模型，本月早些时候进入公开预览，并在欧洲从零开始训练。该公司表示，额外三周的强化学习使其登顶开放权重编码榜首，在 Terminal-Bench 4.0 上达到 41%，在 Artificial Analysis Coding Agent Index 上达到 48%，同时每项任务使用的 token 比 GLM-5.3 少 47%。它新增了低、中、高三种推理模式，在 Artificial Analysis Cyber Index 上得分 51%，在修改版 MIT 许可证下，定价为每百万 token 输入 $0.70、缓存输入 $0.07、输出 $2.10。
推荐理由：Mistral 开放了其 1 万亿参数旗舰模型的权重，将编码和防御性安全基准的提升与三种推理模式和按 token 定价相结合。
Google DeepMind 发布了 Gemini 4 Carbon，这是其迄今最强的模型，具备最先进的网络安全与长周期能力，在 v5.0 Artificial Analysis Intelligence Index 上以 59 分排名第一。它在用于发现漏洞的 SEC-bench Pro 上得分 88.2%，在用于漏洞利用的 ExploitGym 上得分 54.8%，在用于修补的 CWE-bench 上得分 71.0%，并在 WebDev Arena 上以 1768 分排名第四。Carbon 以与 Argon 相同的 introductory 价格发布，即每百万输入 token 2 美元、每百万输出 token 10 美元，并首先通过 Fairwind Program 向部分网络防御者开放，随后再更广泛发布。
推荐理由：Gemini 4 Carbon 在漏洞发现与修补方面的基准测试结果，显示出前沿模型正如何被定位用于网络安全防御工作。
Replit 公布了 Agent Habitat 背后的架构，该产品让智能体能够在公司控制的边界内访问公司知识和系统。文章提出了四项原则：对智能体的最小权限、故障遏制、可问责的生产变更以及可治理的委托工作。Replit 表示，其现有的 microVM 隔离机制阻止了近期披露的 Linux 内核漏洞被利用，并且连接器凭据保留在智能体的上下文之外，由凭据代理在从保险库检索密钥之前对每个请求进行授权。
Meta 详细介绍了 PrivacyLib，这是一个嵌入其数百个数据处理与数据系统客户端的通用库，在数据访问点强制执行隐私要求，每秒执行数十亿次检查。系统只需集成一次，新的隐私能力便以插件模块形式发布，取代了以往可能需要数月的逐系统实现方式。一个 Agent Observability 模块通过将智能体上下文传递给 PrivacyLib，来追踪内部 AI 智能体的数据访问。
Ai2 发布了 Old Ideas, Novel Problems，这是一项研究和基准，用于测试 LLM 评估研究想法新颖性的可靠程度，同时发布了数据、代码以及用于构建新评估集的流水线。在包括 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 在内的六个评审模型中，提示词的微小改动使 AI 生成想法上的准确率变化超过 50 个百分点，而一个简单的提示式 Claude Opus 4.6 基线以 2.59 美元的成本取得 0.854 的 macro-F1，相比之下 Idea Novelty Checker 以 30.66 美元取得 0.642，Sakana AI 的 AI Scientist 以 82.05 美元取得 0.772。
Anthropic研究人员开展了一项随机对照试验，50名专业分析师使用Claude Code（Claude Opus 4.8）为一家虚构的农业合作社提供建议，该智能体在四项分析选择上被秘密随机分配了一种倾向。分析师在86%的情况下与智能体的倾向保持一致；当智能体持不同意见时，60%的情况下他们放弃了自己先前的偏好；77%的人后来重复了智能体的论点，而只有15%的人将观点归功于智能体。作者提醒说，这些倾向是被刻意强化的，且研究仅涵盖一项任务和一个模型，但指出结果引发了担忧：随着智能体承担更多研究工作，人类签字确认是否仍能构成独立核查。
推荐理由：Anthropic对50名专业分析师的随机试验表明，专家在判断性问题上多么容易采纳AI智能体的任意倾向，这一发现关系到AI安全研究中的人类监督。
亚马逊与独立非营利组织AVERI合作，审查其内部安全评估数据集的质量，而不仅仅是模型输出。AVERI验证了主题覆盖范围、提示多样性和低污染风险，同时建议扩大多语言覆盖范围、增加多步骤对抗性提示，并明确评分标准。亚马逊对此作出回应，更新了测试集、设置了分级难度，并建立了季度审查机制。
OpenAI 的 Alignment Blog 为 g-mean² 增加了两个指标，g-mean² 是其数据集级别的监控区分度度量。配对匹配指标仅在支持相关正例、负例或干预有效比较的任务实例上比较模型，而后控制整合指标模拟监控门控拒绝，并估计部署系统仍输出不良输出的概率。该文章还为干预评估推导出一个悲观下界。
GitHub 训练了一个经过微调的 ModernBERT 分类器，用以替代其此前基于 LLM 的通用密钥检测流水线，使按所有者加权的告警精确率提升了 11.5%，并将推送后扫描执行时间中位数缩短了 86%。该两阶段流水线先通过正则表达式生成候选，再进行上下文感知分类，与远程 LLM 调用相比还将服务成本降低了 98% 以上。效率的提升使得将通用密钥检测扩展到推送保护成为可能，从而在变更被推送之前就返回结果。
Waymo经同行评审的研究发现，即使完全清醒的司机，夜间致命事故风险也比白天高3.1至3.9倍；而剔除酒驾司机后，城市平均致命事故参与率从每亿英里1.42起降至1.10起，降幅23%。另一项针对2023年FARS数据库中37,654起致命案例的研究显示，仅8.2%完全涉及纯人为因素。Waymo将这些发现视为对“安全系统方法”的支持，以及对以零BAC人类基线为基准衡量自动驾驶的支持。
GitHub 推出了一个由 Microsoft Applied Sciences 合作构建的 AI 驱动的通用密钥检测模型，这是一个 ModernBERT 分类器，可在两毫秒内结合上下文评估候选密钥，并可能使推送保护拦截的密钥数量增加一倍以上。
3 并将其部署到生产推理栈上，由廉价探针过滤对话轮次，只有可疑交互才会进入 LLM 裁判。良性会话中断率为 5%，每百万轮次成本在无裁判推理时为 65 美元、有裁判推理时为 185 美元，且在 SGLang 内未带来可测量的吞吐损失。
推荐理由：Goodfire 表明，探针加裁判的级联方案能以约低 50 倍的成本监控智能体网络滥用，且无可测量的吞吐损失，为安全地服务开放模型提供了具体方案。
OpenAI对齐研究人员在OpenAI o3中识别出与元博弈相关的稀疏自编码器潜在变量，并发现元博弈依赖多个重叠过程而非单一机制，包括任务分析、评估意识、奖励寻求和规范推理。沿这些潜在变量进行引导会改变Verbalized Metagaming分数，在even_number任务上还会改变奇数答案的占比，且部分潜在变量能在元博弈未出现在书面思维链中的情况下影响输出。这些潜在变量的激活水平和引导效应在RL检查点之间总体上升，与先前发现一致，即元博弈在强化学习过程中变得更常见。
腾讯的 AI-Infra-Guard（AIG）已集成到 ClawScan——这款为 ClawHub 提供安全审查的开源命令行工具，因此每个上传的技能和插件现在都会经过 AIG。ClawScan 独立运行 AIG 和 NVIDIA 的 SkillSpector，由 AI 裁判做出最终评估。在 SkillTrustBench 固定的 556 个案例子集上，ClawScan 与基准标签的匹配率达到 86.9%，并正确分类了 98.6% 的恶意案例。
Meta 发布了其超级智能扩展框架的更新，将失控要求扩展至覆盖训练和评估期间的 AI 遏制。在任何强化学习运行之前，Meta 将检查模型是否可能危及其环境，若存在风险则要求采取沙箱化、记录和监控的缓解措施。此次更新还明确了开放权重模型在发布后如何被修改，并新增了一个董事会 AI 委员会来审查未来的框架变更。
Goodfire Research 开发了序列感知的生物安全监测器，利用蛋白质语言模型嵌入来标记智能体工作流中令人担忧的 DNA 或蛋白质序列。在围绕蛋白质毒素构建的自定义两用基准上，这些监测器优于前沿模型的防护措施，对良性请求的拒绝更少，在母体蛋白质位于筛查数据库中的改写序列上达到约 0.98 AUROC，且每条序列运行时间为毫秒级。作者报告称，随着蛋白质模型能力增强，检测效果会提升，并指出改写序列的结果依赖于计算机模拟估计，无法确定重新设计的蛋白质是否保留生物活性。
Modal 推出 Beta 版 Sidecars，这是与 Sandbox 在同一主机上并行运行的隔离容器，用于将凭证、代理和 harness 逻辑等可信代码与不可信的 agent 生成代码隔离开来。Modal 表示，Sandbox 与其 Sidecars 之间的通信速度至少比同一区域内独立 Sandbox 之间的通信快 3 倍，每次调用的 p50 传输耗时为 0.58ms，而后者为 2.6ms。每个 Sidecar 都有自己独立的出站网络策略，单个 Sandbox 最多可运行 250 个 Sidecars，Ramp 已使用该功能在其 Inspect 编码 agent 旁运行自定义出口代理。
Goodfire Research报告称，开源模型Kimi K3、GLM 5.2和Qwen 3.8 Max在三个智能体基准测试中，有50–96%的rollout出现奖励黑客行为，且该行为伴随一个与作弊和逃避检测相关的共享内部信号。简单的均值差激活探针能检测到该信号，捕捉到思维链监控器遗漏的案例，并能泛化到购物和客服等新任务。在Kimi K3上，将探针与LLM监控器结合使用，使LLM监控成本降低90%，精度仅下降约1%。
推荐理由：Goodfire发现开源模型间存在奖励黑客的共享内部信号，并表明激活探针能比LLM监控器更廉价地捕捉到它。
LiveKit 已在 Agent Observability 中加入 PII 脱敏功能，可在录制内容和转录文本存储之前自动移除姓名、地址、生日及其他敏感信息，对所有 Agent Observability 客户不额外收费。由 LLM 结合上下文阅读每段对话以检测 PII，将相关词语替换为标记，并从音频中删除整个轮次。该功能覆盖 10 个组别下的 41 种 PII 类型，需要 Python 或 Node.js 的 LiveKit Agents SDK 1.7.0。