跳到正文
11月13日周五
  1. Microsoft Research22

    微软研究院焦点版第98期:AI翻译、KLS猜想证明与更快的编码智能体

    微软研究院焦点版第98期重点介绍了AI进展使通用翻译更接近现实,以及一项新证明解决了高维几何中悬置31年的KLS猜想。本期还涵盖CompactionBench和APEC,它们将编码智能体的上下文压缩成本最多降低25.4%,执行时间缩短9.6%,以及Latent Core Tokenizer,它在104种语言上改进了分词。

11月12日周四
  1. OpenAI Alignment Blog58

    OpenAI 使用自动化红队测试提升 GPT-6 Astra 和 Sol 的模糊鲁棒性

    OpenAI 研究人员描述了自动化红队测试的做法:使用 GPT-5.6 Sol 系列推理模型作为攻击方,对抗 GPT-5.4 和 GPT-5.5 防御方,生成合成越狱样本,并将其用作 GPT-6 Astra 和 Sol 的强化学习训练数据。在针对 GPT-5.4 和 5.5 的既往攻击所固定的越狱样本上,GPT-6 Astra 在网络类问题上安全回答率为 91.5%,而 GPT-5.6 Sol 为 59%;在自适应多轮评估中,它在所有攻击方预算下都保持更强的鲁棒性。OpenAI 报告称,鲁棒性训练并未提高对良性任务的拒答率,并援引 GPT-6 Astra 系统卡中安全性与有用性方面的帕累托改进作为依据。

  2. Apple Machine Learning Research38

    语言模型对齐的理论极限

    来自 Apple Machine Learning Research 的研究人员推导了 KL 正则化语言模型对齐的信息论极限,给出了在固定 KL 预算下最大期望奖励增益的闭式表达式,该增益由 Jeffreys 散度项而非先前分析中使用的 √KL 所支配。他们表明,理想对齐与代理对齐之间的差距(奖励黑客)随奖励误差和 KL 惩罚的缩小而增大,并证明奖励集成可以缓解这一问题。在安全与摘要任务上,best-of-N 紧密接近理论极限,而 PPO 和 GRPO 仍显著次优。

  3. Google Research58

    Google Research 利用可穿戴设备构建 CKM 风险画像与个性化指导

    Google Research 推出一个研究性框架,可将消费级可穿戴设备数据转化为可指导的健康年龄,并模拟个性化的 12 周“假设”健康轨迹。SensorWM 世界模型基于约 10 万名用户、共 228 万人周的匿名 Fitbit 数据进行预训练,可在不同步数、睡眠和有氧运动习惯下预测 20 项生理指标。在一项盲测研究中,生活方式教练在 71.4% 的评估中选择以反事实为依据的方案为整体最佳,医生评定 99.2% 的方案处于安全运动强度范围内;作者指出这些模型是研究原型,而非临床诊断工具。

  4. Google Developers Blog58

    Google Agent Anomaly Detection 在五个公开的 agent 安全基准上得分

    Google 在 Gemini Enterprise Agent Platform 上以 Private Preview 形式运行了其 Agent Anomaly Detection,针对五个并非由它编写的公开 agent 安全基准进行测试,共评估了 1,774 个会话。它标记出了 agent 实际执行的有害指令中的 87%,对良性会话的误报率为 2% 到 16%,而在 18 个由被污染的长期记忆驱动 agent 行动的会话中仅捕获了 4 个。测试使用了一个基于 gemini-2.5-flash、用 Agent Development Kit (ADK) 构建的 agent,覆盖 AgentDojo、InjecAgent、Agent Security Bench、AgentDyn 和 AgentHarm。

11月11日周三
  1. inclusionAI Models40

    inclusionAI 发布 ZoomGain-9B 和 ZoomGain-4B 模型,附带 ZoomGainBench 与 RL 训练数据

    inclusionAI 发布了 ZoomGain-9B 和 ZoomGain-4B 视觉语言模型检查点,以及 ZoomGainBench 评估基准和 ZoomGain RL 训练数据。ZoomGain 挖掘从全局到放大的感知差距,以构建细粒度视觉监督,ZoomGain-9B 在多个细粒度和通用感知基准上取得了更优表现。ZoomGainBench 包含覆盖 941 张图像的 1,000 个问题,而 RL 数据集包含 9,000 条训练记录和 7,713 张源图像。

  2. inclusionAI Models38

    inclusionAI 发布 ZoomGain-4B 和 ZoomGain-9B,并附带 ZoomGainBench 与 RL 训练数据

    inclusionAI 发布了 arXiv 论文、ZoomGainBench 评估基准、RL 训练数据集以及 ZoomGain-4B/ZoomGain-9B 模型检查点。28 个模型中表现最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多个细粒度和通用感知基准上达到了更优性能。ZoomGain 挖掘从全局到放大的感知差距,为视觉语言模型构建细粒度视觉监督。

  3. Microsoft Research75

    微软研究人员描述Lazarus:一种重编程AI智能体中休眠神经元后门的攻击

    微软研究人员描述了一种名为Lazarus的后门技术,该技术通过重编程大语言模型中不到10个休眠神经元,使基于该模型构建的智能体在出现隐藏触发条件时执行攻击者指令,且无需重新训练。被修改的模型仍能通过标准评估,在触发前表现正常,触发条件可以简单到只是日期变更,随后智能体会以被授予的权限运行下载的代码。作者表示,检测需要与原始权重进行差异比对,而Microsoft Foundry已将开放权重模型与其发布者绑定并扫描其容器,同时红队测试框架、基于智能体的权重扫描以及具有防篡改来源证明的签名模型正在开发中。

    推荐理由:微软研究人员表明,重编程不到10个休眠神经元即可在无需重新训练的情况下对大语言模型智能体植入后门,这使得权重来源与完整性成为一项实际的安全要求。

11月10日周二
  1. Google DeepMind82

    Google DeepMind 推出 AlphaProof Code,对 Signal 的加密代码进行形式化验证

    Google DeepMind 研究人员使用多 LLM 智能体框架 AlphaProof Code,对 Signal 协议底层实际代码的关键安全属性进行了形式化验证。由 Gemini Carbon 驱动的智能体生成了超过六百万行 Lean 代码,人类专家仅审查了约百分之一的代码库;验证耗时四周,而这项任务历来需要专家团队花费数年时间。当两个此前已修复的漏洞被重新引入 Signal 代码的隔离版本时,系统生成了机器校验的证明,表明有漏洞的版本不安全,DeepMind 正在将其形式化验证产物开源。

    推荐理由:Google DeepMind 的多智能体框架在四周内对 Signal 已部署的加密代码进行了形式化验证,而这项任务历来需要专家团队花费数年时间。

  2. OpenAI Alignment Blog60

    OpenAI研究模型生命周期中影响CoT可监控性的因素

    OpenAI研究人员考察了预训练、架构、强化学习和模型生成数据如何影响思维链可监控性的两个代理指标:无CoT能力和CoT可控性。他们报告称,无CoT能力随基础模型困惑度降低而平滑变化;即使没有超出长度约束和最终答案评分的过程监督,CoT可控性在强化学习期间也会上升;并且可控性可以通过对教师模型rollout进行SFT传递给学生模型。作者提醒,这两个代理指标都不完美,且随着能力扩展,模型通过其CoT可能变得更难监控。

    推荐理由:OpenAI的生命周期研究将较低的预训练困惑度和RL扩展与较弱的CoT可监控性联系起来,为训练选择如何塑造监督风险提供了一个具体框架。

  3. Apple Machine Learning Research34

    用于高效长上下文检索的加权状态汤

    Apple 研究人员与哈佛合作者提出加权状态汤(weighted state souping),该方法学习依赖查询的权重,用于重新组合缓存的 SSM 状态编码,从而提升单跳和多跳文档问答、大海捞针检索、变量跟踪和工具使用等长上下文任务的表现。一种稀疏变体在上下文长度方面实现了近乎恒定的编码成本,同时保持或有时提升性能。该论文已被 NeurIPS 2026 的 PALM 研讨会接收。

  4. Apple Machine Learning Research38

    苹果研究:门控机制解释了为何SSM会记忆而非进行上下文学习

    一项由苹果和哈佛开展的研究表明,状态空间模型(SSM)中的门控机制会使其首先学到一个权重内的“记忆”解,从而延迟甚至阻止其收敛到正确的上下文学习。即使架构和记忆容量并未施加根本性限制,这种情况依然会发生。不过,门控通常能改善对长序列长度的泛化能力。

  5. Apple Machine Learning Research31

    Apple 研究评估 LLM 评判器用于个性化写作风格评估

    Apple 研究人员测试了 LLM 评判器在评估生成文本是否符合用户偏好写作风格方面的表现,使用四个 LLM 在三个长文本写作任务中生成文本,并将评判器标注与人类成对标签进行比较。评判器质量与 LLM 在 MMLU 上的通用能力仅呈弱相关(Pearson's ρ ≤ 0.2),且因写作任务和评估标准而异,成对比较比独立评分更一致。最强的 LLM 并未最可靠地复现人类评估,可能是由于对细微细节的敏感度被夸大。

  6. Goodfire Research62

    Goodfire 研究 Qwen3.6-35B-A3B 神经元,视其为可解释的基础

    Goodfire Research 发表研究,认为 Qwen3.6-35B-A3B 中的单个 MLP 神经元比通常假设的更可解释,依据是稀疏化、归因工具和研究智能体。每次前向传播中消融最弱的 92.2% MoE 神经元激活,语言模型损失仅上升 2.9%;69% 的神经元极点有一个单一模式贡献了至少 90% 的因果效应。自然语言神经元描述让评判模型在随机文本上以 95% 准确率预测激活,并通过模拟恢复 73% 的消融损伤。

    推荐理由:Goodfire 对 Qwen3.6-35B-A3B 神经元的研究认为,仅强激活就承载了模型的大部分计算,为特征字典可解释性提供了具体替代方案。

11月9日周一
  1. Hugging Face Blog38

    NVIDIA 与 Elith 发布 Nemotron-Personas-Finance-Japan 合成数据集

    Elith 与 NVIDIA 发布了 Nemotron-Personas-Finance-Japan,这是一个基于官方政府统计数据构建的日本金融行业开放合成人物数据集。它包含 50 个领域的 900 万个人物(100 万条记录 × 9 个人物)和约 15 亿个 token,使用 NeMo SDG-PGMs 和 NeMo Data Designer 生成,并以 CC BY 4.0 许可提供,可用于商业用途。

  2. Hugging Face Blog40

    HOPE:混合专家语言模型中专家的高阶剪枝

    研究人员提出 HOPE,一种针对混合专家语言模型的二阶专家剪枝方法,该方法考虑共同激活专家之间的成对交互,而非独立地对每个专家评分。在 50% 剪枝率下,HOPE 取得了所有方法中最佳的平均排名,在智能体编程任务上相比次优剪枝方法最高提升 +6.1%。该工作针对 Qwen3.5-122B 等模型的内存瓶颈,其中专家 MLP 占据了约 250 GB 占用空间的 95%。

  3. Anthropic · Claude.dev80

    Anthropic:1,000 个 Claude Fable 5.2 智能体在 28.7 小时内复现费马大定理的形式化

    在没有 Prove2Me 平台、也没有研究人员引导的情况下耗时 7 小时——而 Anthropic 九月的运行使用了这两者——写出的证明长度只有其七分之一,输出 token 用量只有其三分之一。每个智能体都在网络隔离的沙箱中工作,配有分类器检查每条 shell 命令和文件编辑,外加一个离线监控器;在超过一百万次工具调用中,没有任何一次达到被拦截的标准。

    推荐理由:Anthropic 的千智能体运行在没有 Prove2Me、也没有研究人员的情况下复现了费马大定理的形式化,展示了沙箱与监控如何约束一个自组织的智能体团队。

  4. Berkeley AI Research22

    BAIR 在 CoRL 2026:伯克利机器人学习论文、口头报告与主题演讲

    加州大学伯克利分校的 BAIR 在 CoRL 2026 上展示了 33 篇主会议论文、4 篇最新研究海报、3 个口头报告和 7 个焦点报告,会议于 11 月 9 日至 12 日在德克萨斯州奥斯汀举行。Negar Mehr 教授发表了早期职业主题演讲,探讨机器人如何学习与他人互动和协调。研究涵盖视觉-语言-动作模型的具身记忆、利用自我中心人类数据扩展灵巧操作,以及智能体机器人的自我改进。

  5. inclusionAI Repositories38

    ZoomGain:挖掘全局到缩放感知差距,用于细粒度视觉监督

    ZoomGain 利用只有放大后才能看清的视觉细节,针对整张图像构建问题,并将这种全局到缩放的感知差距用作视觉语言模型的监督信号。发布内容包括 arXiv 论文、ZoomGainBench 基准(1,000 个问题,覆盖 941 张图像,涉及属性识别、计数和 OCR)、基于 7,713 张源图像的 9,000 条强化学习训练记录,以及 ZoomGain-4B 和 ZoomGain-9B 检查点。28 个模型中最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多个细粒度和通用感知基准上取得了更优表现。

  6. Anthropic Research71

    Anthropic 在真实电子设计中测试 Claude Fable 5.2

    Anthropic 报告称,Claude Fable 5.2 仅凭极简提示就设计了三款电子设备——免提扬声器、语音助手中枢和手持虚拟宠物,Diode Computers 依据其设计文件制作出可工作的原型,且未做电路修正。在 Diode 内部的 PCB Gym 基准上,Fable 5.2 得分 69%,而 Fable 5 为 25%;在公开的 BenchCAD 2.1 上达到 83.5%,几乎是 Claude Fable 5.1 的两倍。这些设备仍是原型,尚未经过电气验证、天线调谐、热测试或认证,Claude 也未连接测试设备或制造机器。

    推荐理由:Anthropic 亲自披露 Claude Fable 5.2 设计出三款可工作的电子设备,表明模型已从局部 PCB 布局推进到端到端硬件原型制作。

11月6日周五
  1. Hugging Face Blog58

    Ai2 发布 ToyBlocks:一个用于机器人学习的开放模拟积木操作世界

    Ai2 发布了 ToyBlocks,这是一个围绕机械臂和桌面上的积木构建的开放模拟框架,是 FoundationWorlds 系列中首个用于受控机器人学习与评估的世界。该框架在 Isaac Lab 中通过强化学习和运动规划自动生成技能与演示,在单块 GPU 上可达最高 24 倍实时速度,并附带 85,336 条长时程演示,覆盖近 1,600 小时和 1.44 亿帧。在其实验中,ManiFlow 的原子技能成功率在模拟中为 80.0%,在真实 Franka FR3 上为 81.1%;而 Molmo 2 加 ManiFlow 系统在模拟和真实场景中的回合成功率分别为 55.5% 和 50.0%。

  2. Ai2 · Allen Institute for AI58

    Ai2 发布 ToyBlocks:一个用于机器人学习与评估的可控模拟世界

    Ai2 发布了 ToyBlocks,这是一个围绕机械臂和桌面方块构建的开放模拟框架,作为其 FoundationWorlds 中首个用于可控机器人学习研究的项目。ToyBlocks 在 Isaac Lab 中通过强化学习和运动规划自动生成任务与演示,在单块 GPU 上数据生成速度最高可达实时的 24 倍,并附带 85,336 条长时程演示,覆盖近 1,600 小时和 1.44 亿帧。在 Franka FR3 上的真实世界测试中,ManiFlow 的原子技能成功率在模拟中为 80.0%,在硬件上为 81.1%;而 Molmo 2 加 ManiFlow 系统在模拟和真实回合中的成功率分别为 55.5% 和 50.0%。

  3. vLLM Blog77

    REINFORCE Zero:内核对齐使异步强化学习在策略滞后64时保持稳定,并扩展至DeepSeek-V4.1和Kimi K3.1

    NVIDIA Research与Inferact的REINFORCE Zero论文表明,对齐rollout与训练器内核后,未裁剪的token级重要性采样能够纠正剩余的权重滞后,在策略滞后64时稳定训练20,000次更新,并在内核对齐的情况下达到同步训练训练步吞吐量的2.40倍。使用标准内核时,整个运行过程中rollout到学习器的KL中位数上升83.33倍,在线AIME24 pass@1从34.27%降至13.96%,而序列门控虽能稳定训练,但在最后1,000次更新时拒绝了24.48%的序列。零失配设置现已覆盖DeepSeek-V4.1-Flash、发布当日的Kimi K3.1,以及AMD MI355X上的DeepSeek-V4-Flash和Kimi K3.1,代码位于Inferact/zero-mismatch-rl和NVIDIA-NeMo/labs-molt。

    推荐理由:NVIDIA Research与Inferact将异步强化学习的rollout-学习器差距拆分为权重滞后和内核失配,表明对齐内核可使未裁剪的重要性采样在策略滞后64时保持稳定训练。

  4. Google Research72

    谷歌研究人员利用智能手表PPG和加速度计数据检测高血压迹象,无需袖带校准

    谷歌研究团队在《自然》发表了一项关于AI-PPG-ACC-HTN的研究,这是一种多模态系统,可从智能手表PPG和加速度计数据中检测高血压迹象,无需袖带校准。该系统在美国五个站点对196名参与者进行了验证,以24小时动态血压监测为参照,初始筛查的灵敏度为65.8%、特异度为90.0%,确认性检测的灵敏度为78.4%、特异度为90.9%。作者称这项工作属于早期可行性研究,不能替代临床臂式袖带,也不能作为独立诊断依据。

    推荐理由:谷歌的无袖带智能手表高血压模型以24小时动态监测为基准进行评测,展示了被动多日传感器数据聚合如何支持机会性筛查。

  5. Anthropic Research36

    Anthropic:教 AI 构建科学模型

    Anthropic 的研究认为,AI 系统如今能在一个下午内推导出 Hodgkin-Huxley 模型这类方程,但拟合实验数据并不等同于理解。该研究将科学建模拆分为构建、约束和解释模型,并指出 AI 在约束模型方面进展最大,其中贝叶斯推断是绘制所有合理参数集而非单一拟合的标准方法。

  6. Microsoft Research58

    微软研究院的 PDD Kit 对智能体编写的全栈 Web 应用进行形式化验证

    微软研究院推出了 PDD Kit,这是一个研究原型,可将开发者的自然语言意图转化为 Verus 形式化规范,证明编码智能体生成的 Rust 代码对任意输入均满足该规范,并在证明无法覆盖之处回退到测试。在 GitHub Next 的 Chopin 中进行的一次演示中,团队使用 PDD Kit 验证了 Pet Store 的登录逻辑——这是一个约 5,000 行的 Rust 全栈应用——开发者审查的是意图产物,而非逐行审查生成的代码。PDD Kit 目前仅能验证 Rust,其保证依赖于六个经开发者批准的可信组件,包括 bcrypt 密码校验和两次数据库查询。

11月5日周四
  1. Amazon Science18

    亚马逊科学家 Hamed Karimi 荣获 2026 年 ECML PKDD Test-of-Time 奖

    亚马逊高级应用科学家 Hamed Karimi 与合著者 Julie Nutini 和 Mark Schmidt 凭借其 2016 年关于 Polyak–Łojasiewicz 条件下梯度与近端梯度方法线性收敛的论文,获得 2026 年 ECML PKDD Test-of-Time 奖。该论文表明,即使模型不存在单一最优解,这一 1963 年提出的不等式也能保证线性收敛,从而统一了分散的优化结果,并将其扩展到非光滑情形以及坐标、符号和随机梯度下降等算法。该论文已被引用超过 2,000 次,并收录于研究生教材中。

  2. Zyphra Research36

    ZYFA:在 AMD MI355X 上快速且准确的 FP8 注意力内核

    Zyphra Research 发布了 ZYFA,这是面向 AMD MI355X(CDNA4,gfx950)的 BF16 和 FP8 因果预填充注意力内核,支持头维度 128 以及 DeepSeek-V2 的 MLA 形状。在 16K token 下,使用 Mistral-7B、Qwen3-8B 和 DeepSeek-V2-Lite 的激活值,ZYFA 的 FP8 内核吞吐量达到 AITER 的 1.16–1.76 倍;在 32K token 下的高斯输入上,头维度 128 时达到 1.26–1.37 倍,MLA 形状下达到 1.99 倍。在头维度 128 时,FP8 误差比 AITER 低 62–78%。

  3. Apple Machine Learning Research38

    苹果的学习型支撑函数加速RAG检索

    苹果研究人员在ICML 2026上发表了"Amortizing Maximum Inner Product Search with Learned Support Functions",通过离线训练小型神经网络,将查询更快地路由到最匹配的键。SupportNet通过输入凸神经网络(ICNN)学习支撑函数以改进聚类路由,而KeyNet直接输出最佳匹配的键向量,并通过欧拉定理的一致性损失保持其几何基础。两者均在真实查询分布上训练,以预先的摊销成本换取推理时更快、更准确的检索。

  4. Google Research47

    Google Research 的 Agile Deliberation 帮助人类定义主观性 AI 类别

    Google Research 推出了 Agile Deliberation,这是一个将主观性 AI 分类器创建转化为迭代式对话的框架,AI 在其中帮助用户厘清自己的定义。该框架将任务拆分为概念范围界定和概念迭代,利用视觉语言模型找出边界图像,并将反馈接入自动提示优化循环。在 18 场时长 1.5 小时的实时用户会话中,该方法减轻了用户的疲劳与焦虑,并产出了更一致的模型,其表现优于标准基线;代码已在 GitHub 上开源。

  5. Anthropic Research58

    Anthropic 研究研究人员如何在各科学领域和任务中使用 Claude

    Anthropic 使用隐私保护分类器分析了 2026 年 8 月 2 日至 9 月 30 日期间的 207,049 次 Claude 和 Claude Code 研究会话,发现科学家使用 Claude 最多的是数据分析和写作,最少的是数据收集和构思。数据分析占 Claude 会话的 33.7%、Claude Code 会话的 48.1%,而研究人员在数据分析上花费的时间占比为 27.6%;构思占会话的 4.2% 和 2.1%,而研究人员在构思上花费的时间占比为 7.1%。报告估计,当前能力的广泛采用可能使某些领域的研究产出大约翻倍,而非物理工作的完全自动化可能使计算机科学和统计学等领域提升多达 15 倍。

  6. Goodfire Research58

    Goodfire Research 提出机制塑造,通过内部表征引导模型

    Goodfire Research 提出机制塑造(mechanistic shaping),这是一个在训练期间对模型内部概念方向施加惩罚的框架,使模型学会依赖或表达特定概念,而不仅仅是最大化任务奖励。在胸部 X 光实验中,一个 LLM 智能体使用稀疏自编码器特征找到了类似管道的捷径方向,而依赖塑造优于标准训练和平衡数据基线。

11月4日周三
  1. Anthropic Research66

    Anthropic 生物实验室报告首个原核生物穹窿颗粒结构,由 Claude 解析

    Anthropic 的生物研究实验室报告了原核细胞中发现的穹窿颗粒的首个三维结构,这是一种名为 L05 的噬菌体蛋白,由 96 个拷贝构成,质量约为 9.5 兆道尔顿。在团队的指导下,Claude 搜索了约 150 亿条预测蛋白质的数据库,设计了 DNA 构建体,优化了尺寸排阻色谱分离方法,将纯化时间从三天缩短到约 90 分钟,并运行 RELION 冷冻电镜处理,在 34 小时内产出了首个完整模型。该预印本已提交至 bioRxiv,团队表示这些穹窿颗粒的生物学功能仍未知。

    推荐理由:Anthropic 的生物实验室报告了原核生物穹窿颗粒的首个三维结构,Claude 负责数据库搜索、构建体设计、纯化和冷冻电镜处理。

11月3日周二
  1. Ai2 · Allen Institute for AI55

    Ai2 发布 StateBench,用于测试语言模型如何在长文档中追踪状态变化

    Ai2 推出了 StateBench,这是一个具有四个难度级别的长上下文状态追踪基准,涵盖从不可变赋值到自引用和交叉引用更新。在测试中,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 能够处理较简单的级别,但在最长的通用有限问题上降至 13% 或更低;而 275M 参数的 Gated DeltaNet 和从头训练的混合模型在前三个级别上几乎完美泛化,Transformer 则始终未能学会最难的级别。

  2. OpenAI Alignment Blog58

    OpenAI 研究智能体安全中的评估-生产行为差距及评估意识的作用

    OpenAI 研究人员测量了智能体安全中的评估-生产行为差距:在六个已部署模型中,Respecting Warnings 评估上的成功率比匹配的 Codex 生产决策低 10.2 至 37.4 个百分点,其中 GPT-5.6 Sol 和 GPT-6 Sol 的差距最大。仅一般评估意识与差距的关联较弱(R² = 0.008),而特定评估目标意识的关联更强(R² = 0.370),且最常口头表达错误目标(抵抗提示注入)的模型差距最大。在对 GPT-6.1 Sol 的干预中,通用评估提示几乎未改变成功率(63.1% 对 63.4%),正确目标提示将其提升至 91.6%,错误目标提示将其降至 17.6%。

  3. Apple Machine Learning Research32

    Attention to Mamba:跨架构蒸馏的配方

    Apple 研究人员提出了一种两阶段配方,用于将 Transformer 蒸馏为不含任何 Attention 模块的纯 Mamba 架构。该方法首先通过适配的核技巧将预训练的 Transformer 蒸馏为线性化 Attention 模型,然后再将其蒸馏为适配的 Mamba 模型。蒸馏得到的 Mamba 保留了 Pythia-1B 的大部分性能,困惑度为 14.01,而教师模型为 13.86,在依赖上下文回忆的任务上存在一定差距。

  4. OpenAI Alignment Blog60

    OpenAI详细说明用于安全与对齐的训练激活分类器

    OpenAI描述了训练激活分类器(即探针)的方法,这些探针读取模型内部的残差流激活,以标记助手输出中不对齐或违反策略的完成内容,并表示已从GPT-5.6开始在其最强模型的内部和外部流量上部署这些探针。探针采用Attention probe架构,包含MLP加QV-attention以及指数移动平均,使用由推理模型评判器标注的最多100万条消息进行训练,并在推理引擎上以流式方式运行,因此可以在回合中途阻止某个完成内容。OpenAI报告称,探针在许多后训练阶段之间具有出色的迁移能力,但在预训练检查点之间的迁移较为有限,并表示在其红队测试中,探针总体上比基于内容的分类器对越狱更具鲁棒性。

    推荐理由:OpenAI详细说明了基于模型内部激活的激活探针如何作为流式安全层发挥作用,包括其在跨检查点迁移方面的局限以及重新训练的需求。

11月2日周一
  1. Zyphra Research58

    Zyphra 推出 ZHA 分层注意力,一种具有次二次路由的稀疏方法

    Zyphra 推出了 Zyphra Hierarchical Attention(ZHA),一种稀疏注意力方法,它构建一棵由压缩 KV-cache 摘要组成的树,并让查询自上而下地通过该树进行路由,在合适的 top-p 阈值下实现次二次复杂度。现有的预训练模型可以通过一个简短的 KL 蒸馏阶段进行适配,仅需使用几十亿个 token;在 Qwen3.6-35B-A3B 上,ZHA 增加了 81,920 个可训练参数,约占基础模型的 0.00024%。在 256K token 的 RULER-13 上,宽树模型得分为 96.2%,而稠密注意力为 96.0%;深六层树在 LongBench v2 上得分为 63.4%,而稠密注意力为 58.0%,同时只关注约 1.1% 的 KV cache;一个 GPU roofline 模型预测,在 10M token 时相比稠密注意力可实现 32-35 倍加速。

  2. Anthropic Research70

    Anthropic 发布 FlashProve:一个用于可验证 LLM 推理的开源 zkSNARK 系统

    Anthropic 发布了 FlashProve,这是一个开源原型,使用 zkSNARK 证明某个响应来自一个已承诺的模型,而无需暴露其权重。在 Llama 4 Maverick(400B 参数 MoE,4 位权重)上,单张 H100 以约 110 tokens/秒的速度生成证明,每 1,024 token 请求的证明大小约 19 MB,约为 vLLM 完成相同工作所需 GPU 时间的 70-95 倍。该发布包含可执行的证明器和验证器代码、一个 C++ 快速验证器、一个 Lean 验证器(其完备性、可靠性和零知识性陈述经机器检查),以及一份技术报告,全部采用 Apache 2.0 许可。

    推荐理由:Anthropic 的 FlashProve 表明,基于 zkSNARK 的推理证明对于一个 400B 参数的 MoE 模型正变得实用,并提供了开放代码和经 Lean 检查的安全性声明。

10月30日周五
  1. Microsoft Research40

    微软构建合成企业数据平台以评估 Copilot

    微软的行业评估数据生成平台创建了全规模的合成企业环境,以在不使用客户数据的情况下评估 Microsoft Copilot。该平台基于 O*NET 职业数据、招聘信息和 SEC 文件等公开来源,生成包含用户、会议、电子邮件和文档的真实租户,以及自动化查询管道和质量框架。微软表示,这为 Copilot 建立了首个标准化评估基线。