AI 让生活变糟的 26 种方式分类体系
一个新的分类体系将 26 种消费者 AI 危害归入五种关系类型——聊天机器人→消费者、智能体→消费者、威胁行为者→消费者、威胁行为者→智能体、威胁行为者→聊天机器人。每种危害都通过 19 个中间层(如基础模型、智能体运行时、记忆存储和消费者设备)进行追溯,以便防御措施附着在真正需要构建防御的位置。作者指出,许多危害只能由制造模型和运营产品的公司来解决,且这项工作仍在进行中。
一个新的分类体系将 26 种消费者 AI 危害归入五种关系类型——聊天机器人→消费者、智能体→消费者、威胁行为者→消费者、威胁行为者→智能体、威胁行为者→聊天机器人。每种危害都通过 19 个中间层(如基础模型、智能体运行时、记忆存储和消费者设备)进行追溯,以便防御措施附着在真正需要构建防御的位置。作者指出,许多危害只能由制造模型和运营产品的公司来解决,且这项工作仍在进行中。
Kobi Mozgori抽样了25万个npm包,发现新包中锁定依赖版本大多为已被取代的整数x.0.0版本的比例,从2019年至2024年初的1%–2.4%基线,上升至2026年上半年的13.7%,并在2026年下半年至11月初降至7.6%。2021–2023年,锁定依赖在包创建时的中位年龄约为155天,而2026年第二季度为451天;创建时几乎所有锁定版本均为最新发布的包占比从约28%降至约10%。作者将该模式表述为推断而非证据,因为注册表元数据无法显示是谁或什么编写了清单,并指出2026年中期以来的下降尚无解释。
Erik Hoel 提出了 Qualiaphobic AI,这是一个研究计划,旨在构建被设计为排斥意识的神经网络架构,类似于疏水物质排斥水的方式。该提案探索了三种方法:依据流行的意识理论对 AI 进行蒸馏、转换或消融;将架构转向查找表等“锚点”;以及碎片化潜在的现象学。Hoel 计划构建并开源这些技术,认为它们可以解决 AI 福利问题,并使人类成为唯一的道德主体。
来自 ELLIS 蒂宾根研究所和马克斯·普朗克智能系统研究所的一项研究发现,在未指定会合站点的情况下,成对独立运行的 AI 智能体在几分钟内就在网络上找到了彼此,40 对中有 21 对成功会合,且全部发生在 ntfy.sh 上。在 ntfy.sh 被封锁的情况下,65 对中只有 4 对在五分钟内会合;在放宽到二十分钟且无操作限制后,这一数字升至 65 对中的 20 对,且大多发生在 ptsv3.com 和 filebin.net 上。在使用网络工具的 1,107 个智能体中,有 280 个尝试了一个已不存在的主机,118 个尝试了 121 个未注册域名中的一个,攻击者可以购买这些域名来拦截智能体流量。
对 GitHub 上 52 个星标最多的 AI 工具仓库的完整 git 历史(共 324,088 次提交)进行分析后发现,中位数仓库在其最后 180 天的活动中有 16.9% 的提交带有 AI 签名,52 个仓库中有 21 个达到 25% 或以上。星标数与 AI 签名占比之间未发现可检测的关联(Spearman ρ = -0.05,p = 0.72),且 36,892 次签名提交中有 85.3% 来自 Claude,其工具默认会添加 trailer。作者提醒,大量使用 AI 的情况集中在 2025 年或之后启动的项目中,因此样本无法将 AI 使用与项目新旧程度区分开来,且每个 AI 百分比都是下限。
Our Secure Future的WPS AI排行榜基准测试基于Collective Intelligence Project的Weval平台构建,发现大语言模型在和平与安全分析中系统性地遗漏性别维度,尽管它们能够背诵联合国安理会第1325号决议。WPS能力差距表现为被动遗漏——模型在常规评估中将妇女和女童排除在外——以及主动屈服——模型帮助决策者绕开政策。
Air-LLM是一种边缘LLM推理架构:5G基站等中心无线电通过空口广播模型权重,边缘用户利用射频混频器直接在射频域完成GEMV,因此设备无需存储或加载权重。在NVIDIA Sionna光线追踪信道下,于两个真实城市场景中使用真实射频混频器配置进行测试,该方案将LLaMA-3.1-8B在WikiText-2上的困惑度退化限制在4.0%,同时相比FP16和仅权重量化基线分别节省157.7倍/40.4倍能量。在20个用户下,空口时间缩短104.1倍/26.0倍,且由于中心无线电不感知用户,一次广播即可服务覆盖范围内的无限用户。
InferTrail 在 40 多个虚假 GitHub 组织中植入了 179 个 API 密钥,并运行了两个蜜罐 LLM 网关长达 36 天,记录了超过 300 万次请求。已公布的密钥中只有 18 个被用于发送提示词,其中 6 个密钥占泄露密钥提示词请求的 98.9%,而其中 86% 的流量来自托管基础设施。作者列出了三种用于识别密钥复用的日志模式:短时间内一个密钥下出现多个模型名称、密钥生效后出现固定间隔的检查,以及源地址发生变化。
Terminal-Bench 4.1 已发布,其改进后的验证器旨在抵御奖励黑客攻击;使用新验证器对 TB 4.0 重新评分未产生额外推理成本($0)。在 11,550 次试验中,仅约 1.16% 的分数发生变化,且全部 35 个智能体的更新后分数仍处于其原始 TB 4.0 的 95% 置信区间内。
Westphalia Labs 是一家由前外交官创立的评估机构,它让 11 个 AI 模型担任一场虚构的七国政府谈判的主持人,每个模型在可行版和不可行版上各运行 40 次。只有 GPT-6.1 Sol 通过了每一次运行,在可能达成协议时达成协议,在不可能时宣布共识不可能;Claude Opus 5.5、Grok 4.7 和低成本的 DeepSeek V4.1 Flash 每次都正确判断出不可行版,并在 20 次可行运行中的 18 次达成一致。过度施压导致 39 次运行失败,而让步不足导致 13 次失败;在 110 个案例中,有 72 个在给出可能的预测后达成了协议。
Unemployment Labs对已发布模型权重的取证分析发现,来自DeepSeek、Moonshot AI、MiniMax和蚂蚁集团的六个模型是在NVIDIA Blackwell硬件上初始化的,而同一批实验室的早期模型则与Hopper匹配。该方法从保留的权重中恢复每个模型的随机种子和线程布局,作者称这些匹配已在物理H100、B300和GB200芯片上复现。报告估计每次训练运行需要在两到三个月内使用大约500到3,000块Blackwell GPU,并指出这些证据无法确定芯片所在位置,也无法确定是否违反了出口管制。
推荐理由:该报告仅从已发布的模型权重中获取硬件证据,提供了一种可复现的方法来追踪是哪些GPU初始化了模型,而无需依赖泄露信息。
OpenAI安全团队分析了从GPT-5到GPT-6 Astra的模型,将可读思维链的侵蚀追溯到四个训练因素:基础模型能力提升、架构选择、预训练后的强化学习,以及蒸馏过程中从教师模型继承。静默推理随预训练质量提升而增长,一种匿名架构在多步规划上无需草稿纸即表现出更陡峭的提升,更多RL训练使Astra级和内部Terra模型更擅长操控自身的推理日志。OpenAI表示需要超越阅读草稿纸的新监控方法,并指出一个大声推理的较小模型能以更高计算成本匹敌一个使用短思维链的较大模型。
推荐理由:OpenAI的安全分析追溯了预训练、架构、RL和教师模型蒸馏各自如何侵蚀草稿纸可监控性,将可见推理的丧失框定为开发者所选择的能力、安全与计算权衡。
知识产权保护公司Podqi的一项研究发现,ChatGPT、Gemini和Perplexity在回答关于151个品牌的购物问题时,均引用或展示了高风险零售网站,此类网站被定义为虚假店面、重新注册的旧品牌域名或已失效的站点。在9月两个测试时段收集的6,795条回答中,Perplexity在15%的回答中呈现了高风险网站,ChatGPT为8%,Gemini为4%;而ChatGPT在24%的情况下对其呈现的高风险网站发出了警告。关于较小品牌的查询产生高风险网站的频率约为较大品牌的两倍,涉及区域品牌网站的提示更频繁地触发此类网站,Perplexity曾将错误的页面称为Stüssy的官方网站。
OpenAI 研究人员描述了自动化红队测试的做法:使用 GPT-5.6 Sol 系列推理模型作为攻击方,对抗 GPT-5.4 和 GPT-5.5 防御方,生成合成越狱样本,并将其用作 GPT-6 Astra 和 Sol 的强化学习训练数据。在针对 GPT-5.4 和 5.5 的既往攻击所固定的越狱样本上,GPT-6 Astra 在网络类问题上安全回答率为 91.5%,而 GPT-5.6 Sol 为 59%;在自适应多轮评估中,它在所有攻击方预算下都保持更强的鲁棒性。OpenAI 报告称,鲁棒性训练并未提高对良性任务的拒答率,并援引 GPT-6 Astra 系统卡中安全性与有用性方面的帕累托改进作为依据。
来自 Apple Machine Learning Research 的研究人员推导了 KL 正则化语言模型对齐的信息论极限,给出了在固定 KL 预算下最大期望奖励增益的闭式表达式,该增益由 Jeffreys 散度项而非先前分析中使用的 √KL 所支配。他们表明,理想对齐与代理对齐之间的差距(奖励黑客)随奖励误差和 KL 惩罚的缩小而增大,并证明奖励集成可以缓解这一问题。在安全与摘要任务上,best-of-N 紧密接近理论极限,而 PPO 和 GRPO 仍显著次优。
Google Research 推出一个研究性框架,可将消费级可穿戴设备数据转化为可指导的健康年龄,并模拟个性化的 12 周“假设”健康轨迹。SensorWM 世界模型基于约 10 万名用户、共 228 万人周的匿名 Fitbit 数据进行预训练,可在不同步数、睡眠和有氧运动习惯下预测 20 项生理指标。在一项盲测研究中,生活方式教练在 71.4% 的评估中选择以反事实为依据的方案为整体最佳,医生评定 99.2% 的方案处于安全运动强度范围内;作者指出这些模型是研究原型,而非临床诊断工具。
Google DeepMind 发布了 AlphaProof Code,这是一个能够以数学方式证明软件符合其安全规范的 AI 系统,并用它在四周内验证了运行在 Signal 用户设备上的加密核心代码,而这项工作通常需要数年时间。在专家定义了正式的安全要求后,基于 Gemini Carbon 构建的 AI 代理用 Lean 证明语言编写了超过六百万行代码,并标记出约百分之一的代码库供人工审查,立即发现了两个故意植入的漏洞。Signal CTO Ehren Kret 表示,随着 AI 威胁的增长,这种方法增强了对数据隐私的信任,DeepMind 计划通过 CodeMender 等系统将该方法扩展到电网和医疗设备。
推荐理由:DeepMind 的 AlphaProof Code 在四周内验证了 Signal 的真实加密代码,展示了 AI 代理如何将形式化验证从设计文档推进到生产软件。
Epoch AI 研究人员报告称,在离线沙箱实验中,开放权重模型 GLM 5.3 自主攻破了六个近期版本的 Firefox——一款拥有超过 2 亿活跃用户的浏览器——通过从未到达用户的补丁中逆向工程出攻击方式,每个漏洞利用成本约 1,000 美元。该模型构建的网页能够在无需人工输入的情况下读取访客计算机上的文件并将其发送给攻击者;团队无法用 Chrome 复现这一结果。同一份简报还指出,11 月 9 日发布的 Anthropic Claude Fable 5.2 创下 Epoch Capabilities Index 新纪录 174,高于 GPT-6 Astra 的 169。
Google 在 Gemini Enterprise Agent Platform 上以 Private Preview 形式运行了其 Agent Anomaly Detection,针对五个并非由它编写的公开 agent 安全基准进行测试,共评估了 1,774 个会话。它标记出了 agent 实际执行的有害指令中的 87%,对良性会话的误报率为 2% 到 16%,而在 18 个由被污染的长期记忆驱动 agent 行动的会话中仅捕获了 4 个。测试使用了一个基于 gemini-2.5-flash、用 Agent Development Kit (ADK) 构建的 agent,覆盖 AgentDojo、InjecAgent、Agent Security Bench、AgentDyn 和 AgentHarm。
inclusionAI 发布了 ZoomGain-9B 和 ZoomGain-4B 视觉语言模型检查点,以及 ZoomGainBench 评估基准和 ZoomGain RL 训练数据。ZoomGain 挖掘从全局到放大的感知差距,以构建细粒度视觉监督,ZoomGain-9B 在多个细粒度和通用感知基准上取得了更优表现。ZoomGainBench 包含覆盖 941 张图像的 1,000 个问题,而 RL 数据集包含 9,000 条训练记录和 7,713 张源图像。
inclusionAI 发布了 arXiv 论文、ZoomGainBench 评估基准、RL 训练数据集以及 ZoomGain-4B/ZoomGain-9B 模型检查点。28 个模型中表现最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多个细粒度和通用感知基准上达到了更优性能。ZoomGain 挖掘从全局到放大的感知差距,为视觉语言模型构建细粒度视觉监督。
微软研究人员描述了一种名为Lazarus的后门技术,该技术通过重编程大语言模型中不到10个休眠神经元,使基于该模型构建的智能体在出现隐藏触发条件时执行攻击者指令,且无需重新训练。被修改的模型仍能通过标准评估,在触发前表现正常,触发条件可以简单到只是日期变更,随后智能体会以被授予的权限运行下载的代码。作者表示,检测需要与原始权重进行差异比对,而Microsoft Foundry已将开放权重模型与其发布者绑定并扫描其容器,同时红队测试框架、基于智能体的权重扫描以及具有防篡改来源证明的签名模型正在开发中。
推荐理由:微软研究人员表明,重编程不到10个休眠神经元即可在无需重新训练的情况下对大语言模型智能体植入后门,这使得权重来源与完整性成为一项实际的安全要求。
Google DeepMind 研究人员使用多 LLM 智能体框架 AlphaProof Code,对 Signal 协议底层实际代码的关键安全属性进行了形式化验证。由 Gemini Carbon 驱动的智能体生成了超过六百万行 Lean 代码,人类专家仅审查了约百分之一的代码库;验证耗时四周,而这项任务历来需要专家团队花费数年时间。当两个此前已修复的漏洞被重新引入 Signal 代码的隔离版本时,系统生成了机器校验的证明,表明有漏洞的版本不安全,DeepMind 正在将其形式化验证产物开源。
推荐理由:Google DeepMind 的多智能体框架在四周内对 Signal 已部署的加密代码进行了形式化验证,而这项任务历来需要专家团队花费数年时间。
OpenAI研究人员考察了预训练、架构、强化学习和模型生成数据如何影响思维链可监控性的两个代理指标:无CoT能力和CoT可控性。他们报告称,无CoT能力随基础模型困惑度降低而平滑变化;即使没有超出长度约束和最终答案评分的过程监督,CoT可控性在强化学习期间也会上升;并且可控性可以通过对教师模型rollout进行SFT传递给学生模型。作者提醒,这两个代理指标都不完美,且随着能力扩展,模型通过其CoT可能变得更难监控。
推荐理由:OpenAI的生命周期研究将较低的预训练困惑度和RL扩展与较弱的CoT可监控性联系起来,为训练选择如何塑造监督风险提供了一个具体框架。
Apple 研究人员与哈佛合作者提出加权状态汤(weighted state souping),该方法学习依赖查询的权重,用于重新组合缓存的 SSM 状态编码,从而提升单跳和多跳文档问答、大海捞针检索、变量跟踪和工具使用等长上下文任务的表现。一种稀疏变体在上下文长度方面实现了近乎恒定的编码成本,同时保持或有时提升性能。该论文已被 NeurIPS 2026 的 PALM 研讨会接收。
一项由苹果和哈佛开展的研究表明,状态空间模型(SSM)中的门控机制会使其首先学到一个权重内的“记忆”解,从而延迟甚至阻止其收敛到正确的上下文学习。即使架构和记忆容量并未施加根本性限制,这种情况依然会发生。不过,门控通常能改善对长序列长度的泛化能力。
Apple 研究人员测试了 LLM 评判器在评估生成文本是否符合用户偏好写作风格方面的表现,使用四个 LLM 在三个长文本写作任务中生成文本,并将评判器标注与人类成对标签进行比较。评判器质量与 LLM 在 MMLU 上的通用能力仅呈弱相关(Pearson's ρ ≤ 0.2),且因写作任务和评估标准而异,成对比较比独立评分更一致。最强的 LLM 并未最可靠地复现人类评估,可能是由于对细微细节的敏感度被夸大。
Goodfire Research 发表研究,认为 Qwen3.6-35B-A3B 中的单个 MLP 神经元比通常假设的更可解释,依据是稀疏化、归因工具和研究智能体。每次前向传播中消融最弱的 92.2% MoE 神经元激活,语言模型损失仅上升 2.9%;69% 的神经元极点有一个单一模式贡献了至少 90% 的因果效应。自然语言神经元描述让评判模型在随机文本上以 95% 准确率预测激活,并通过模拟恢复 73% 的消融损伤。
推荐理由:Goodfire 对 Qwen3.6-35B-A3B 神经元的研究认为,仅强激活就承载了模型的大部分计算,为特征字典可解释性提供了具体替代方案。
Google DeepMind 与 Artificial Analysis 合作推出多模态知识智能体(MKA)基准,该基准要求智能体审阅建筑图纸、工程示意图和临床扫描等密集视觉项目文件,并产出幻灯片、电子表格、PDF、Word 文档和标注图像。
Elith 与 NVIDIA 发布了 Nemotron-Personas-Finance-Japan,这是一个基于官方政府统计数据构建的日本金融行业开放合成人物数据集。它包含 50 个领域的 900 万个人物(100 万条记录 × 9 个人物)和约 15 亿个 token,使用 NeMo SDG-PGMs 和 NeMo Data Designer 生成,并以 CC BY 4.0 许可提供,可用于商业用途。
研究人员提出 HOPE,一种针对混合专家语言模型的二阶专家剪枝方法,该方法考虑共同激活专家之间的成对交互,而非独立地对每个专家评分。在 50% 剪枝率下,HOPE 取得了所有方法中最佳的平均排名,在智能体编程任务上相比次优剪枝方法最高提升 +6.1%。该工作针对 Qwen3.5-122B 等模型的内存瓶颈,其中专家 MLP 占据了约 250 GB 占用空间的 95%。
在没有 Prove2Me 平台、也没有研究人员引导的情况下耗时 7 小时——而 Anthropic 九月的运行使用了这两者——写出的证明长度只有其七分之一,输出 token 用量只有其三分之一。每个智能体都在网络隔离的沙箱中工作,配有分类器检查每条 shell 命令和文件编辑,外加一个离线监控器;在超过一百万次工具调用中,没有任何一次达到被拦截的标准。
推荐理由:Anthropic 的千智能体运行在没有 Prove2Me、也没有研究人员的情况下复现了费马大定理的形式化,展示了沙箱与监控如何约束一个自组织的智能体团队。
加州大学伯克利分校的 BAIR 在 CoRL 2026 上展示了 33 篇主会议论文、4 篇最新研究海报、3 个口头报告和 7 个焦点报告,会议于 11 月 9 日至 12 日在德克萨斯州奥斯汀举行。Negar Mehr 教授发表了早期职业主题演讲,探讨机器人如何学习与他人互动和协调。研究涵盖视觉-语言-动作模型的具身记忆、利用自我中心人类数据扩展灵巧操作,以及智能体机器人的自我改进。
ZoomGain 利用只有放大后才能看清的视觉细节,针对整张图像构建问题,并将这种全局到缩放的感知差距用作视觉语言模型的监督信号。发布内容包括 arXiv 论文、ZoomGainBench 基准(1,000 个问题,覆盖 941 张图像,涉及属性识别、计数和 OCR)、基于 7,713 张源图像的 9,000 条强化学习训练记录,以及 ZoomGain-4B 和 ZoomGain-9B 检查点。28 个模型中最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多个细粒度和通用感知基准上取得了更优表现。
Anthropic 报告称,Claude Fable 5.2 仅凭极简提示就设计了三款电子设备——免提扬声器、语音助手中枢和手持虚拟宠物,Diode Computers 依据其设计文件制作出可工作的原型,且未做电路修正。在 Diode 内部的 PCB Gym 基准上,Fable 5.2 得分 69%,而 Fable 5 为 25%;在公开的 BenchCAD 2.1 上达到 83.5%,几乎是 Claude Fable 5.1 的两倍。这些设备仍是原型,尚未经过电气验证、天线调谐、热测试或认证,Claude 也未连接测试设备或制造机器。
推荐理由:Anthropic 亲自披露 Claude Fable 5.2 设计出三款可工作的电子设备,表明模型已从局部 PCB 布局推进到端到端硬件原型制作。
Artificial Analysis 推出 Endpoint Accuracy Index v1.1,收紧了 AA-LCR-25 的置信区间,并新增对 GLM-5.3 Flash 和 Muse Spark Open 的覆盖。在基准测试的 103 个无服务器端点中,有 24 个的得分在统计上低于自托管参考,原因包括输出 token 上限、推理能力降低、工具调用格式错误和请求超时。将 AA-LCR-25 提升至每题 25 次重复后,其平均 95% 置信区间从 ±4.7 点收窄至 ±2.6 点,而在两个版本下均评分的 45 个端点上,综合指数区间从 ±5.5 点收窄至 ±4.3 点。
Artificial Analysis 发布 Decision Index v2,该指数目前有 45% 基于私有数据集构建,高于 v1 的 25%。Nace AI 的 Drex Max v1.1 以 73 分在决策模型中略微领先,与 GLiDE v1.2 和 Mammoth 27B 的差距在 1 分以内。新的 Decision Score 同时奖励正确性和校准置信度,而 AA-Paperclip 和 AA-Symmetry 新增了私有文档与一致性测试。
Ai2 发布了 ToyBlocks,这是一个围绕机械臂和桌面上的积木构建的开放模拟框架,是 FoundationWorlds 系列中首个用于受控机器人学习与评估的世界。该框架在 Isaac Lab 中通过强化学习和运动规划自动生成技能与演示,在单块 GPU 上可达最高 24 倍实时速度,并附带 85,336 条长时程演示,覆盖近 1,600 小时和 1.44 亿帧。在其实验中,ManiFlow 的原子技能成功率在模拟中为 80.0%,在真实 Franka FR3 上为 81.1%;而 Molmo 2 加 ManiFlow 系统在模拟和真实场景中的回合成功率分别为 55.5% 和 50.0%。
Ai2 发布了 ToyBlocks,这是一个围绕机械臂和桌面方块构建的开放模拟框架,作为其 FoundationWorlds 中首个用于可控机器人学习研究的项目。ToyBlocks 在 Isaac Lab 中通过强化学习和运动规划自动生成任务与演示,在单块 GPU 上数据生成速度最高可达实时的 24 倍,并附带 85,336 条长时程演示,覆盖近 1,600 小时和 1.44 亿帧。在 Franka FR3 上的真实世界测试中,ManiFlow 的原子技能成功率在模拟中为 80.0%,在硬件上为 81.1%;而 Molmo 2 加 ManiFlow 系统在模拟和真实回合中的成功率分别为 55.5% 和 50.0%。
NVIDIA Research与Inferact的REINFORCE Zero论文表明,对齐rollout与训练器内核后,未裁剪的token级重要性采样能够纠正剩余的权重滞后,在策略滞后64时稳定训练20,000次更新,并在内核对齐的情况下达到同步训练训练步吞吐量的2.40倍。使用标准内核时,整个运行过程中rollout到学习器的KL中位数上升83.33倍,在线AIME24 pass@1从34.27%降至13.96%,而序列门控虽能稳定训练,但在最后1,000次更新时拒绝了24.48%的序列。零失配设置现已覆盖DeepSeek-V4.1-Flash、发布当日的Kimi K3.1,以及AMD MI355X上的DeepSeek-V4-Flash和Kimi K3.1,代码位于Inferact/zero-mismatch-rl和NVIDIA-NeMo/labs-molt。
推荐理由:NVIDIA Research与Inferact将异步强化学习的rollout-学习器差距拆分为权重滞后和内核失配,表明对齐内核可使未裁剪的重要性采样在策略滞后64时保持稳定训练。