跳到正文
11月13日周五
  1. Hacker News · AI58

    研究发现:2026年上半年13.7%的新npm包存在AI风格的过时版本锁定

    Kobi Mozgori抽样了25万个npm包,发现新包中锁定依赖版本大多为已被取代的整数x.0.0版本的比例,从2019年至2024年初的1%–2.4%基线,上升至2026年上半年的13.7%,并在2026年下半年至11月初降至7.6%。2021–2023年,锁定依赖在包创建时的中位年龄约为155天,而2026年第二季度为451天;创建时几乎所有锁定版本均为最新发布的包占比从约28%降至约10%。作者将该模式表述为推断而非证据,因为注册表元数据无法显示是谁或什么编写了清单,并指出2026年中期以来的下降尚无解释。

  2. Hacker News · AI85

    取证分析将六个中国前沿模型与受出口管制的NVIDIA Blackwell GPU联系起来

    Unemployment Labs对已发布模型权重的取证分析发现,来自DeepSeek、Moonshot AI、MiniMax和蚂蚁集团的六个模型是在NVIDIA Blackwell硬件上初始化的,而同一批实验室的早期模型则与Hopper匹配。该方法从保留的权重中恢复每个模型的随机种子和线程布局,作者称这些匹配已在物理H100、B300和GB200芯片上复现。报告估计每次训练运行需要在两到三个月内使用大约500到3,000块Blackwell GPU,并指出这些证据无法确定芯片所在位置,也无法确定是否违反了出口管制。

    推荐理由:该报告仅从已发布的模型权重中获取硬件证据,提供了一种可复现的方法来追踪是哪些GPU初始化了模型,而无需依赖泄露信息。

11月12日周四
  1. MIT News34

    MIT研究人员开发训练技术,让气候模拟器更快、更可信

    MIT研究人员开发出一种训练技术,可提升AI气候模拟器的性能和适应性,同时仅需通常所需数据的一小部分。该方法生成带有快速排放变化的优化合成训练场景,使在远少得多的数据上训练的模拟器能够准确预测传统模拟器失败的未见场景。该研究发表于《美国国家科学院院刊》。

  2. Google Research58

    Google Research 利用可穿戴设备构建 CKM 风险画像与个性化指导

    Google Research 推出一个研究性框架,可将消费级可穿戴设备数据转化为可指导的健康年龄,并模拟个性化的 12 周“假设”健康轨迹。SensorWM 世界模型基于约 10 万名用户、共 228 万人周的匿名 Fitbit 数据进行预训练,可在不同步数、睡眠和有氧运动习惯下预测 20 项生理指标。在一项盲测研究中,生活方式教练在 71.4% 的评估中选择以反事实为依据的方案为整体最佳,医生评定 99.2% 的方案处于安全运动强度范围内;作者指出这些模型是研究原型,而非临床诊断工具。

11月11日周三
  1. inclusionAI Models40

    inclusionAI 发布 ZoomGain-9B 和 ZoomGain-4B 模型,附带 ZoomGainBench 与 RL 训练数据

    inclusionAI 发布了 ZoomGain-9B 和 ZoomGain-4B 视觉语言模型检查点,以及 ZoomGainBench 评估基准和 ZoomGain RL 训练数据。ZoomGain 挖掘从全局到放大的感知差距,以构建细粒度视觉监督,ZoomGain-9B 在多个细粒度和通用感知基准上取得了更优表现。ZoomGainBench 包含覆盖 941 张图像的 1,000 个问题,而 RL 数据集包含 9,000 条训练记录和 7,713 张源图像。

  2. inclusionAI Models38

    inclusionAI 发布 ZoomGain-4B 和 ZoomGain-9B,并附带 ZoomGainBench 与 RL 训练数据

    inclusionAI 发布了 arXiv 论文、ZoomGainBench 评估基准、RL 训练数据集以及 ZoomGain-4B/ZoomGain-9B 模型检查点。28 个模型中表现最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多个细粒度和通用感知基准上达到了更优性能。ZoomGain 挖掘从全局到放大的感知差距,为视觉语言模型构建细粒度视觉监督。

  3. Microsoft Research75

    微软研究人员描述Lazarus:一种重编程AI智能体中休眠神经元后门的攻击

    微软研究人员描述了一种名为Lazarus的后门技术,该技术通过重编程大语言模型中不到10个休眠神经元,使基于该模型构建的智能体在出现隐藏触发条件时执行攻击者指令,且无需重新训练。被修改的模型仍能通过标准评估,在触发前表现正常,触发条件可以简单到只是日期变更,随后智能体会以被授予的权限运行下载的代码。作者表示,检测需要与原始权重进行差异比对,而Microsoft Foundry已将开放权重模型与其发布者绑定并扫描其容器,同时红队测试框架、基于智能体的权重扫描以及具有防篡改来源证明的签名模型正在开发中。

    推荐理由:微软研究人员表明,重编程不到10个休眠神经元即可在无需重新训练的情况下对大语言模型智能体植入后门,这使得权重来源与完整性成为一项实际的安全要求。

11月10日周二
  1. Apple Machine Learning Research34

    用于高效长上下文检索的加权状态汤

    Apple 研究人员与哈佛合作者提出加权状态汤(weighted state souping),该方法学习依赖查询的权重,用于重新组合缓存的 SSM 状态编码,从而提升单跳和多跳文档问答、大海捞针检索、变量跟踪和工具使用等长上下文任务的表现。一种稀疏变体在上下文长度方面实现了近乎恒定的编码成本,同时保持或有时提升性能。该论文已被 NeurIPS 2026 的 PALM 研讨会接收。

  2. Apple Machine Learning Research38

    苹果研究:门控机制解释了为何SSM会记忆而非进行上下文学习

    一项由苹果和哈佛开展的研究表明,状态空间模型(SSM)中的门控机制会使其首先学到一个权重内的“记忆”解,从而延迟甚至阻止其收敛到正确的上下文学习。即使架构和记忆容量并未施加根本性限制,这种情况依然会发生。不过,门控通常能改善对长序列长度的泛化能力。

  3. Apple Machine Learning Research31

    Apple 研究评估 LLM 评判器用于个性化写作风格评估

    Apple 研究人员测试了 LLM 评判器在评估生成文本是否符合用户偏好写作风格方面的表现,使用四个 LLM 在三个长文本写作任务中生成文本,并将评判器标注与人类成对标签进行比较。评判器质量与 LLM 在 MMLU 上的通用能力仅呈弱相关(Pearson's ρ ≤ 0.2),且因写作任务和评估标准而异,成对比较比独立评分更一致。最强的 LLM 并未最可靠地复现人类评估,可能是由于对细微细节的敏感度被夸大。

  4. Goodfire Research62

    Goodfire 研究 Qwen3.6-35B-A3B 神经元,视其为可解释的基础

    Goodfire Research 发表研究,认为 Qwen3.6-35B-A3B 中的单个 MLP 神经元比通常假设的更可解释,依据是稀疏化、归因工具和研究智能体。每次前向传播中消融最弱的 92.2% MoE 神经元激活,语言模型损失仅上升 2.9%;69% 的神经元极点有一个单一模式贡献了至少 90% 的因果效应。自然语言神经元描述让评判模型在随机文本上以 95% 准确率预测激活,并通过模拟恢复 73% 的消融损伤。

    推荐理由:Goodfire 对 Qwen3.6-35B-A3B 神经元的研究认为,仅强激活就承载了模型的大部分计算,为特征字典可解释性提供了具体替代方案。

11月9日周一
  1. Hugging Face Blog38

    NVIDIA 与 Elith 发布 Nemotron-Personas-Finance-Japan 合成数据集

    Elith 与 NVIDIA 发布了 Nemotron-Personas-Finance-Japan,这是一个基于官方政府统计数据构建的日本金融行业开放合成人物数据集。它包含 50 个领域的 900 万个人物(100 万条记录 × 9 个人物)和约 15 亿个 token,使用 NeMo SDG-PGMs 和 NeMo Data Designer 生成,并以 CC BY 4.0 许可提供,可用于商业用途。

  2. inclusionAI Repositories38

    ZoomGain:挖掘全局到缩放感知差距,用于细粒度视觉监督

    ZoomGain 利用只有放大后才能看清的视觉细节,针对整张图像构建问题,并将这种全局到缩放的感知差距用作视觉语言模型的监督信号。发布内容包括 arXiv 论文、ZoomGainBench 基准(1,000 个问题,覆盖 941 张图像,涉及属性识别、计数和 OCR)、基于 7,713 张源图像的 9,000 条强化学习训练记录,以及 ZoomGain-4B 和 ZoomGain-9B 检查点。28 个模型中最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多个细粒度和通用感知基准上取得了更优表现。

11月8日周日
  1. Artificial Analysis Articles38

    Artificial Analysis Decision Index v2 发布,新增决策评分与私有基准

    Artificial Analysis 发布 Decision Index v2,该指数目前有 45% 基于私有数据集构建,高于 v1 的 25%。Nace AI 的 Drex Max v1.1 以 73 分在决策模型中略微领先,与 GLiDE v1.2 和 Mammoth 27B 的差距在 1 分以内。新的 Decision Score 同时奖励正确性和校准置信度,而 AA-Paperclip 和 AA-Symmetry 新增了私有文档与一致性测试。

11月6日周五
  1. Hugging Face Blog58

    Ai2 发布 ToyBlocks:一个用于机器人学习的开放模拟积木操作世界

    Ai2 发布了 ToyBlocks,这是一个围绕机械臂和桌面上的积木构建的开放模拟框架,是 FoundationWorlds 系列中首个用于受控机器人学习与评估的世界。该框架在 Isaac Lab 中通过强化学习和运动规划自动生成技能与演示,在单块 GPU 上可达最高 24 倍实时速度,并附带 85,336 条长时程演示,覆盖近 1,600 小时和 1.44 亿帧。在其实验中,ManiFlow 的原子技能成功率在模拟中为 80.0%,在真实 Franka FR3 上为 81.1%;而 Molmo 2 加 ManiFlow 系统在模拟和真实场景中的回合成功率分别为 55.5% 和 50.0%。

  2. vLLM Blog77

    REINFORCE Zero:内核对齐使异步强化学习在策略滞后64时保持稳定,并扩展至DeepSeek-V4.1和Kimi K3.1

    NVIDIA Research与Inferact的REINFORCE Zero论文表明,对齐rollout与训练器内核后,未裁剪的token级重要性采样能够纠正剩余的权重滞后,在策略滞后64时稳定训练20,000次更新,并在内核对齐的情况下达到同步训练训练步吞吐量的2.40倍。使用标准内核时,整个运行过程中rollout到学习器的KL中位数上升83.33倍,在线AIME24 pass@1从34.27%降至13.96%,而序列门控虽能稳定训练,但在最后1,000次更新时拒绝了24.48%的序列。零失配设置现已覆盖DeepSeek-V4.1-Flash、发布当日的Kimi K3.1,以及AMD MI355X上的DeepSeek-V4-Flash和Kimi K3.1,代码位于Inferact/zero-mismatch-rl和NVIDIA-NeMo/labs-molt。

    推荐理由:NVIDIA Research与Inferact将异步强化学习的rollout-学习器差距拆分为权重滞后和内核失配,表明对齐内核可使未裁剪的重要性采样在策略滞后64时保持稳定训练。

11月5日周四
  1. Apple Machine Learning Research38

    苹果的学习型支撑函数加速RAG检索

    苹果研究人员在ICML 2026上发表了"Amortizing Maximum Inner Product Search with Learned Support Functions",通过离线训练小型神经网络,将查询更快地路由到最匹配的键。SupportNet通过输入凸神经网络(ICNN)学习支撑函数以改进聚类路由,而KeyNet直接输出最佳匹配的键向量,并通过欧拉定理的一致性损失保持其几何基础。两者均在真实查询分布上训练,以预先的摊销成本换取推理时更快、更准确的检索。

  2. Google Research47

    Google Research 的 Agile Deliberation 帮助人类定义主观性 AI 类别

    Google Research 推出了 Agile Deliberation,这是一个将主观性 AI 分类器创建转化为迭代式对话的框架,AI 在其中帮助用户厘清自己的定义。该框架将任务拆分为概念范围界定和概念迭代,利用视觉语言模型找出边界图像,并将反馈接入自动提示优化循环。在 18 场时长 1.5 小时的实时用户会话中,该方法减轻了用户的疲劳与焦虑,并产出了更一致的模型,其表现优于标准基线;代码已在 GitHub 上开源。

  3. Anthropic Research58

    Anthropic 研究研究人员如何在各科学领域和任务中使用 Claude

    Anthropic 使用隐私保护分类器分析了 2026 年 8 月 2 日至 9 月 30 日期间的 207,049 次 Claude 和 Claude Code 研究会话,发现科学家使用 Claude 最多的是数据分析和写作,最少的是数据收集和构思。数据分析占 Claude 会话的 33.7%、Claude Code 会话的 48.1%,而研究人员在数据分析上花费的时间占比为 27.6%;构思占会话的 4.2% 和 2.1%,而研究人员在构思上花费的时间占比为 7.1%。报告估计,当前能力的广泛采用可能使某些领域的研究产出大约翻倍,而非物理工作的完全自动化可能使计算机科学和统计学等领域提升多达 15 倍。

  4. Goodfire Research58

    Goodfire Research 提出机制塑造,通过内部表征引导模型

    Goodfire Research 提出机制塑造(mechanistic shaping),这是一个在训练期间对模型内部概念方向施加惩罚的框架,使模型学会依赖或表达特定概念,而不仅仅是最大化任务奖励。在胸部 X 光实验中,一个 LLM 智能体使用稀疏自编码器特征找到了类似管道的捷径方向,而依赖塑造优于标准训练和平衡数据基线。

11月4日周三
  1. Anthropic Research66

    Anthropic 生物实验室报告首个原核生物穹窿颗粒结构,由 Claude 解析

    Anthropic 的生物研究实验室报告了原核细胞中发现的穹窿颗粒的首个三维结构,这是一种名为 L05 的噬菌体蛋白,由 96 个拷贝构成,质量约为 9.5 兆道尔顿。在团队的指导下,Claude 搜索了约 150 亿条预测蛋白质的数据库,设计了 DNA 构建体,优化了尺寸排阻色谱分离方法,将纯化时间从三天缩短到约 90 分钟,并运行 RELION 冷冻电镜处理,在 34 小时内产出了首个完整模型。该预印本已提交至 bioRxiv,团队表示这些穹窿颗粒的生物学功能仍未知。

    推荐理由:Anthropic 的生物实验室报告了原核生物穹窿颗粒的首个三维结构,Claude 负责数据库搜索、构建体设计、纯化和冷冻电镜处理。

11月3日周二
  1. Ai2 · Allen Institute for AI55

    Ai2 发布 StateBench,用于测试语言模型如何在长文档中追踪状态变化

    Ai2 推出了 StateBench,这是一个具有四个难度级别的长上下文状态追踪基准,涵盖从不可变赋值到自引用和交叉引用更新。在测试中,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 能够处理较简单的级别,但在最长的通用有限问题上降至 13% 或更低;而 275M 参数的 Gated DeltaNet 和从头训练的混合模型在前三个级别上几乎完美泛化,Transformer 则始终未能学会最难的级别。

  2. Apple Machine Learning Research32

    Attention to Mamba:跨架构蒸馏的配方

    Apple 研究人员提出了一种两阶段配方,用于将 Transformer 蒸馏为不含任何 Attention 模块的纯 Mamba 架构。该方法首先通过适配的核技巧将预训练的 Transformer 蒸馏为线性化 Attention 模型,然后再将其蒸馏为适配的 Mamba 模型。蒸馏得到的 Mamba 保留了 Pythia-1B 的大部分性能,困惑度为 14.01,而教师模型为 13.86,在依赖上下文回忆的任务上存在一定差距。

11月2日周一
  1. SemiAnalysis58

    SemiAnalysis 发布 GDPx 基准,用于评估高价值领域的前沿智能体能力

    SemiAnalysis 发布了 GDPx,这是一个覆盖芯片设计、网络安全、生物学、金融、法律、量化交易、RSI、硬件设计、材料科学、对齐和软件工程的基准,由 14 个专业 RL 环境合作伙伴共同构建。即便是最好的模型也仅得分 12%,其中 Opus 5.5 在量化交易、硬件和芯片设计上胜出,Gemini 4 Carbon 在生物学和软件工程上领先,GPT-6 Astra 在 RSI 和材料科学上居首。每项任务都在逼真的模拟环境中运行,例如约 4,000 个文件的私募股权交易室或实时多服务网络靶场,这与 OpenAI 的 GDPval 不同——SemiAnalysis 认为后者把上下文喂到嘴边且缺乏环境。

10月30日周五
  1. Microsoft Research40

    微软构建合成企业数据平台以评估 Copilot

    微软的行业评估数据生成平台创建了全规模的合成企业环境,以在不使用客户数据的情况下评估 Microsoft Copilot。该平台基于 O*NET 职业数据、招聘信息和 SEC 文件等公开来源,生成包含用户、会议、电子邮件和文档的真实租户,以及自动化查询管道和质量框架。微软表示,这为 Copilot 建立了首个标准化评估基线。

  2. Amazon Science38

    加速旅行应用中的LLM:Medusa与知识蒸馏

    将知识蒸馏与Medusa框架结合,使拥有11亿参数的TinyLlama学生模型在质量上匹配其700亿参数的Llama-3.1教师模型,同时运行速度快10至20倍,成本不到三分之一。在与Booking.com合作开发AI Trip Planner、Smart Filters和住宿描述生成时,该流程弥合了超过90%的质量差距,并通过Medusa头额外实现了2至3.6倍的加速。

10月28日周三
  1. Google Research58

    Google Research 的睡眠框架让 LLM 在不发生灾难性遗忘的情况下巩固新知识

    Google Research 提出了一种用于持续学习的睡眠框架,该框架交替进行主动交互与离线记忆巩固,让 LLM 将新事实吸收到扩展的混合专家参数中,而不是丢失先前的知识。该方法结合了参数扩展、基于策略的蒸馏与基于强化学习的模仿,以及一个生成并筛选合成训练样本的“做梦”阶段。作者报告称,在满语和 Kalamang 等未见语言的持续翻译中性能下降接近零,在 BABILong 上扩展到 1000 万 token 时接近完美,在基于 SQuAD 的事实融入中单任务达到 48.9%、CPT 达到 46.2%,在 AIME 24/25 和 HMMT 25 上分别达到 79.2%、69.0% 和 46.1%。

10月27日周二
  1. Ai2 · Allen Institute for AI58

    Ai2 研究测试 LLM 能否可靠判断研究想法的新颖性

    Ai2 发布了 Old Ideas, Novel Problems,这是一项研究和基准,用于测试 LLM 评估研究想法新颖性的可靠程度,同时发布了数据、代码以及用于构建新评估集的流水线。在包括 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 在内的六个评审模型中,提示词的微小改动使 AI 生成想法上的准确率变化超过 50 个百分点,而一个简单的提示式 Claude Opus 4.6 基线以 2.59 美元的成本取得 0.854 的 macro-F1,相比之下 Idea Novelty Checker 以 30.66 美元取得 0.642,Sakana AI 的 AI Scientist 以 82.05 美元取得 0.772。

  2. Epoch AI · Gradient Updates58

    Epoch AI 用自家研究任务测试 AI,顶尖模型得分 65% 却全部未通过

    Epoch AI 将其早先自动化一名高级研究员工作的尝试扩展为 Epoch Automation Reports,用与人类员工相同的标准,在平面设计和研究规划等真实 Epoch 任务上评估 AI。1 和 GPT-6 Astra 在评分表上平均得分 65%,但 65% 的得分仍算任务失败,因为如果由人类提交,每一份都会被拒绝或退回修改。

10月23日周五
  1. Ai2 · Allen Institute for AI31

    LitPivot:Ai2 的系统帮助研究者通过文献调整研究方向

    Ai2 与宾夕法尼亚大学的研究人员构建了 LitPivot,该系统围绕正在编辑的研究提案的各个方面来组织检索到的论文,并给出有文献支撑的修改建议。在一项有 17 名研究者参与的研究中,领域专家认为,使用 LitPivot 形成的想法比使用文本编辑器和 AI 聊天工具形成的想法更有文献依据。参与者还表示,他们修改后的想法更具新颖性和实用性,LitPivot 将在 UIST 2026 上展示。

10月22日周四
  1. Microsoft Research64

    微软研究院与合著者证明了31年历史的KLS猜想

    微软研究员张新智(Xinzhi Zhang)与一位合著者证明了Kannan-Lovász-Simonovits(KLS)猜想——一个悬而未决31年的高维几何开放问题,表明该界可由一个与维度无关的通用常数成立。该证明源自一个人工引导的智能体过程:AI智能体探索了100多种候选方法,研究人员则对搜索进行剪枝和重新引导;而在相当token预算下用领先模型进行的另一次无引导尝试未能成功。同日另有两篇证明出现,随后还发布了Lean 4形式化。

    推荐理由:一个悬而未决31年的高维几何开放问题,通过人工引导的智能体搜索在大约100种候选方法中得到解决,并以独立证明和Lean形式化作为确认。

10月21日周三
  1. Apple Machine Learning Research26

    TEAL:面向低预算语义分割的Token空间高效主动学习

    Apple研究人员(与滑铁卢大学合作)提出TEAL,这是首个基于冻结ViT表示的像素级主动学习框架,通过两级MaxHerding策略直接在原生token格上选择多样化候选,并结合基于margin的不确定性精炼。在每张图像仅有一个标注像素的情况下,TEAL在CamVid、Cityscapes、ADE20K和Pascal Context上比最强基线最高提升+24.36 mIoU,仅用10 px即达到全监督性能的97%。

10月17日周六
  1. Google Research71

    Google Research 概述 VERID 与闭环智能体工作流,用于自主湿实验室

    Google Research 介绍了三个旨在让 AI 智能体扎根于真实湿实验室实验的项目,其中包括 VERID 框架——一个基于开源 PyLabRobot 框架构建的实验室工作单元语义数字孪生,可跟踪台面布局、孔体积和吸头库存,并在执行前对协议进行干运行。

    推荐理由:Google Research 概述了三个将 AI 智能体连接到真实湿实验室硬件的项目,展示了模拟干运行和闭环实验如何让智能体修正自身的设计规则。

10月15日周四
  1. Goodfire Research62

    Goodfire研究文章认为神经网络本身已是清晰的,叠加现象被误读

    Goodfire研究员认为,神经网络中多义性和叠加现象的经典证据被误读了,看似随意的打包实际上主要是一种他称之为递归泛化的模式。用常规架构改进、不改变模型大小或训练数据重新训练InceptionV1后,其最后一层99-100%的神经元变得易于解释;对Qwen3-32B的初步审计估计约90%的神经元极点只有一个主要职责。文章结论是网络使用一种学习原理而非两种,因此可解释性可以直接研究神经元和电路,而不必先训练稀疏自编码器等分解模型。

    推荐理由:这是对该领域经典多义性证据的第一手重新解读,主张网络是递归泛化而非打包不相关的概念,这将使直接的机制性研究变得可行。

10月13日周二
  1. Modal Blog58

    Modal 在 Qwen3.6-35B-A3B 上测试混合精度、混合加速器 RL 采样器

    Modal 在 agentic coding 任务上训练 Qwen3.6-35B-A3B,采样器分布在六种加速器类型(B200、B300、H100、H200、A100、RTX PRO 6000)上,采用 NVFP4、FP8 和 BF16 精度,向 B200 上的单个 BF16 训练器供给数据。普通 GRPO 在混合与同构采样器上均崩溃,但加入掩码重要性采样加分数中心化(无论是否配合 top-p 掩码重放)后,训练稳定进行到最后,并在 SWE-bench Pro V2 pass@4 上达到与同构采样器相当的水平,每次更新的采样器成本约低 15%。混合采样器运行时的平均采样器-训练器 KL 是同构设置的 4.7 倍,作者认为稳定性取决于将失配保持在有界范围内,而非保持低值。

  2. Amazon Science75

    Amazon Web Services 研究人员提出 priming,可将预训练 Transformer 转换为混合状态空间模型而无需完全重新训练

    Amazon Web Services 研究人员提出 priming,一种复用预训练 Transformer 权重的方法,可将混合状态空间架构的预训练成本降低 99% 以上,仅使用源模型预训练 token 预算的不到 0.5%。在受控比较中,Gated KalmaNet 优于 Gated DeltaNet 和 Mamba-2,而基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 表现相当,同时在 128,000 token 上下文下解码速度最高可达两倍。团队以 Apache 2.0 许可证发布了 8B 和 32B 的 primed 混合模型、训练代码、Triton 内核以及 vLLM 服务插件。

    推荐理由:Amazon Web Services 研究人员表明,复用预训练 Transformer 权重可将混合架构预训练成本降低 99% 以上,使状态空间层的受控比较变得可行。

10月10日周六
  1. Epoch AI · Gradient Updates65

    Epoch AI 的 InnovationEval 发现,前沿智能体在自动化 AI 研发中仅达到 SDPO 增益的 15%

    6 Sol 和 Fable 5 各自独立重新发现了一种可与自蒸馏策略优化(SDPO)相媲美的新型后训练技术,并在无互联网访问的沙盒中分别获得 3,000 GPU 小时。6 Sol 的方法在很大程度上复制自先前工作,在调整训练速度较慢的因素后,达到了 SDPO 增益的 15%,而 Fable 5 的技术未能提升性能。

10月8日周四
  1. Zyphra Research36

    Zyphra Research:专家耦合减少 MoE 预训练通信

    Zyphra Research 表明 MoE 路由具有高度结构性:同一层内被共同选中的专家相互关联,且一个 token 的专家选择可预测后续层的路由。利用这一点,通过相关专家放置和 token 重排,在 MI300X GPU 上的 Megatron-LM 实验中,将全对全通信时间最多缩短 2.63 倍,端到端训练步时间最多提升 1.41 倍,且不改变架构或路由决策。

  2. Waymo Blog30

    Waymo研究:清醒司机夜间致命事故风险仍高出近4倍

    Waymo经同行评审的研究发现,即使完全清醒的司机,夜间致命事故风险也比白天高3.1至3.9倍;而剔除酒驾司机后,城市平均致命事故参与率从每亿英里1.42起降至1.10起,降幅23%。另一项针对2023年FARS数据库中37,654起致命案例的研究显示,仅8.2%完全涉及纯人为因素。Waymo将这些发现视为对“安全系统方法”的支持,以及对以零BAC人类基线为基准衡量自动驾驶的支持。

10月3日周六
  1. Epoch AI · Gradient Updates58

    Epoch AI:未来两年建成的算力可运行数亿个AI智能体

    Epoch AI估计,未来两年生产出的AI算力可支持数千万至数亿个并发智能体运行当今最强的模型,或支持数十亿个智能体运行更便宜的模型。该分析基于2025年至2027年的HBM出货量预测,统计了GB300等效GPU,发现顶级智能体不间断运行可提供约1.4亿至7亿名全职员工的每周工时,而DeepSeek V4 Pro的服务基准测试则意味着约19亿个并发智能体。报告指出,关键的不确定性在于需求能否增长得足够快以证明这一建设规模的合理性,还是会留下过剩的智能体。