Attention to Mamba:跨架构蒸馏的配方
Apple 研究人员提出了一种两阶段配方,用于将 Transformer 蒸馏为不含任何 Attention 模块的纯 Mamba 架构。该方法首先通过适配的核技巧将预训练的 Transformer 蒸馏为线性化 Attention 模型,然后再将其蒸馏为适配的 Mamba 模型。蒸馏得到的 Mamba 保留了 Pythia-1B 的大部分性能,困惑度为 14.01,而教师模型为 13.86,在依赖上下文回忆的任务上存在一定差距。
Apple 研究人员提出了一种两阶段配方,用于将 Transformer 蒸馏为不含任何 Attention 模块的纯 Mamba 架构。该方法首先通过适配的核技巧将预训练的 Transformer 蒸馏为线性化 Attention 模型,然后再将其蒸馏为适配的 Mamba 模型。蒸馏得到的 Mamba 保留了 Pythia-1B 的大部分性能,困惑度为 14.01,而教师模型为 13.86,在依赖上下文回忆的任务上存在一定差距。
SemiAnalysis 发布了 GDPx,这是一个覆盖芯片设计、网络安全、生物学、金融、法律、量化交易、RSI、硬件设计、材料科学、对齐和软件工程的基准,由 14 个专业 RL 环境合作伙伴共同构建。即便是最好的模型也仅得分 12%,其中 Opus 5.5 在量化交易、硬件和芯片设计上胜出,Gemini 4 Carbon 在生物学和软件工程上领先,GPT-6 Astra 在 RSI 和材料科学上居首。每项任务都在逼真的模拟环境中运行,例如约 4,000 个文件的私募股权交易室或实时多服务网络靶场,这与 OpenAI 的 GDPval 不同——SemiAnalysis 认为后者把上下文喂到嘴边且缺乏环境。
Sakana AI于2026年10月26日在东京举办了“从世界模型到真实世界AI”研讨会,首席科学顾问Jürgen Schmidhuber发表了主题演讲,Sakana AI宣布将开发自己的预训练语言模型系列Sakana Sawara(暂定名)。首个小型模型Sawara Small(暂定名)若开发顺利,计划于2027年春季发布。超过400名参会者参加了此次活动,活动还包括Schmidhuber与CEO David Ha之间的对话。
长鑫存储公布第三季度净利润544亿元人民币,营收1187.1亿元人民币,同比增长613.2%;路透社称其已向国内芯片设计公司发送HBM3E样品,计划在两个月内进行有限量产,尽管良率仅为20%至30%。宇树科技上市后首份财报显示,第三季度营收增长69.9%至6.65亿元人民币,研发支出增长约250%。月之暗面发布Kimi K3.1 Pro,上下文窗口达100万token,随后就速率限制致歉,并恢复了订阅用户月度额度的四分之一。
微软的行业评估数据生成平台创建了全规模的合成企业环境,以在不使用客户数据的情况下评估 Microsoft Copilot。该平台基于 O*NET 职业数据、招聘信息和 SEC 文件等公开来源,生成包含用户、会议、电子邮件和文档的真实租户,以及自动化查询管道和质量框架。微软表示,这为 Copilot 建立了首个标准化评估基线。
一个广为流传的说法称,中国55%的AI token用于短剧和视频生成——该说法可追溯至COL集团6月的一次投资者电话会议——已遭到字节跳动和《人民日报》的反驳。字节跳动表示,视频生成仅占其自身算力的约10%。2026年前八个月发布的约43万部微短剧中,超过90%为AI制作,而在字节跳动的Seedance上生成一段五秒720p片段约需10万个token。
Microsoft Research Focus Edition #97 重点介绍了 ForkPilot,这是一个自我改进的智能体框架,在六个基准测试中与现有最佳方法表现相当,同时将 AI 处理需求最多降低 59%。该期还涵盖了 CABRA,该框架表明编码智能体仍难以理解不熟悉的代码库,以及 TeleTune,它从用户活动日志中学习可复用的技能。它还考察了 Copilot Chat 活动,其中文档编辑超过了分类活动的 20%。
将知识蒸馏与Medusa框架结合,使拥有11亿参数的TinyLlama学生模型在质量上匹配其700亿参数的Llama-3.1教师模型,同时运行速度快10至20倍,成本不到三分之一。在与Booking.com合作开发AI Trip Planner、Smart Filters和住宿描述生成时,该流程弥合了超过90%的质量差距,并通过Medusa头额外实现了2至3.6倍的加速。
Meta 详细介绍了其个性化广告检索引擎 Andromeda 的下一代版本,该引擎在生产环境中每秒对超过 10 亿条广告进行评分——相比 2024 年的系统吞吐量提升 100 倍。新架构将受 LLM 启发的混合专家模型引入检索环节,以约 300 分之一的推理 FLOPs 接近排序级模型性能,在单块 NVIDIA GH200 GPU 上每秒可处理超过 100 亿条广告。自 2025 年以来,Andromeda 已在 Facebook 上带来 2.4% 的转化率提升。
Zenrin、Zenrin DataCom与Preferred Networks已签署业务与资本联盟协议,Zenrin旗下公司认购了PFN的第三方定向增发。合作方将把持续更新的地理空间数据(包括历史变更记录)与PFN的生成式AI、物理AI及三维空间识别技术相结合,构建能够理解和预测现实世界变化的AI模型。初期重点领域包括公共部门、房地产、零售与流通,瞄准需求预测、门店选址以及城市规划、防灾和物流模拟。
Figma 详细介绍了它如何为其 Figma agent 训练一个第一方设计编辑模型:首先在合成编辑请求上进行监督微调,这些请求以 Figma 原生文件格式表示,并通过确定性检查和视觉模型评判器进行验证。
研究人员正在改造 Ai2 的开源 olmOCR 2 模型,用于转录历史和考古档案。历史学家 Maurice Casey 构建了 ArtificeOCR,在本地将 olmOCR 2 与 Tropy 配合运行,使他的档案照片库可进行关键词搜索;而维也纳工业大学的 CENTURIA 项目则用 LoRA 在 57 条标注记录上对 olmOCR 2 进行微调,将 450 条测试记录上的转录错误率从 15.58% 降至 1.11%。
Google Research 提出了一种用于持续学习的睡眠框架,该框架交替进行主动交互与离线记忆巩固,让 LLM 将新事实吸收到扩展的混合专家参数中,而不是丢失先前的知识。该方法结合了参数扩展、基于策略的蒸馏与基于强化学习的模仿,以及一个生成并筛选合成训练样本的“做梦”阶段。作者报告称,在满语和 Kalamang 等未见语言的持续翻译中性能下降接近零,在 BABILong 上扩展到 1000 万 token 时接近完美,在基于 SQuAD 的事实融入中单任务达到 48.9%、CPT 达到 46.2%,在 AIME 24/25 和 HMMT 25 上分别达到 79.2%、69.0% 和 46.1%。
Meta正在支持五所美国大学的研究——加州理工学院、俄亥俄州立大学医学院、路易斯安那州立大学、印第安纳大学和UTHealth Houston——为其提供最新Muse模型的使用权限、研究人员协作和资金支持。研究人员将使用Muse Spark Open、Muse Wonder、Muse Spark、30B开放权重的Muse Glimmer,以及SAM、V-JEPA、DINO、UMA和SeamlessM4T。项目涵盖医学、物理学、化学、生物学、计算机科学和数学,大学保留对所有患者和临床数据的控制权。
Ai2 发布了 Old Ideas, Novel Problems,这是一项研究和基准,用于测试 LLM 评估研究想法新颖性的可靠程度,同时发布了数据、代码以及用于构建新评估集的流水线。在包括 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 在内的六个评审模型中,提示词的微小改动使 AI 生成想法上的准确率变化超过 50 个百分点,而一个简单的提示式 Claude Opus 4.6 基线以 2.59 美元的成本取得 0.854 的 macro-F1,相比之下 Idea Novelty Checker 以 30.66 美元取得 0.642,Sakana AI 的 AI Scientist 以 82.05 美元取得 0.772。
Redwood Research 认为,AI 的概念推理能力——如哲学这类缺乏可验证真值的任务——应当被差异化地加速,因为 AI 研发与接管对此类推理的依赖要小得多。该团队表示,基本的引导技术和较小规模的训练就能让模型在其主要概念推理基准上提升三到十二个月的水平,并称该领域目前被 AI 安全社区忽视且投入不足。
Epoch AI 将其早先自动化一名高级研究员工作的尝试扩展为 Epoch Automation Reports,用与人类员工相同的标准,在平面设计和研究规划等真实 Epoch 任务上评估 AI。1 和 GPT-6 Astra 在评分表上平均得分 65%,但 65% 的得分仍算任务失败,因为如果由人类提交,每一份都会被拒绝或退回修改。
Anthropic 的生命科学团队花了数月时间与六家药物开发商合作,包括百时美施贵宝、Generate Biomedicines 和 Divergence Labs,同时开展自己的发现项目,以测试 Claude 能在哪些环节加速药物开发。报告的早期结果包括:Generate 设计的一个版本比标准版本短约 70%,使免疫细胞产生的受体数量增加约 10 倍;以及在大约一个月内为 Divergence 主要自主生成了约 35,000 个抗体设计。Anthropic 表示,这项工作仍主要处于临床前阶段,并计划随着项目推进将 Claude 扩展到临床试验中。
推荐理由:Anthropic 首次详细披露将 Claude 嵌入真实药物项目的实践,展示了该模型在六家合作伙伴中哪些环节有帮助、哪些环节仍有不足。
SemiAnalysis 的工程团队在 TorchTitan 和 TorchNeuron 栈上测试了 Trainium3 机架,发现原生 PyTorch 体验相比旧的 PyTorch/XLA 方案有重大改进,但 bug 和较长的编译时间仍然存在。在编译模式下,用 16 块 Trainium2 芯片训练 Qwen3-32B 达到每秒 14,156 个 token、MFU 为 30.47%,相比 eager 模式提升 1.28 倍;而 gpt-oss 20B 配方编译耗时 27 分 17 秒。团队还将 Neuron Explorer 评为业界领先的分析器,领先于 Nvidia 和 AMD 的工具,并报告 Trainium3 通过了 96 个 FlexAttention 测试用例中的 89 个。
Ai2 与宾夕法尼亚大学的研究人员构建了 LitPivot,该系统围绕正在编辑的研究提案的各个方面来组织检索到的论文,并给出有文献支撑的修改建议。在一项有 17 名研究者参与的研究中,领域专家认为,使用 LitPivot 形成的想法比使用文本编辑器和 AI 聊天工具形成的想法更有文献依据。参与者还表示,他们修改后的想法更具新颖性和实用性,LitPivot 将在 UIST 2026 上展示。
亚马逊发布了 TorchNeuron,这是一个开源 PyTorch 后端,可将 PyTorch 代码转换为可在 AWS Trainium 系统上执行的操作,且只需极少代码改动或无需改动。它新增了一种可选的自适应 eager 模式,通过分组并编译操作来接近编译模式的性能,还提供多级 NEFF 缓存;在一项 64 进程的 LLM 测试中,共享编译服务将首次训练步骤的时间缩短了约三分之一。Annapurna 团队使用从数十万个开源模型中提炼出的 841 个代表性模型对其进行了调优和基准测试。
Modal 发布了 Spindle,这是一个开源、兼容 Tinker 的训练服务器,运行在客户的 Modal 工作区内,让团队可以自定义技术栈,并按 GPU 时长付费,而不是按 token 付费。Spindle 支持对开源模型进行全参数训练和多 LoRA,Modal 报告称,在一个 DAPO-math GRPO 任务上,让 8 个客户端共享一个训练器,相比 Tinker 可将每 100 万输出 token 的成本降低最多 80%。Modal 表示 Spindle 仍处于 beta 阶段,并将其定位在其 Dojo 训练库与原始集群原语之间。
推荐理由:Modal 的开源 Spindle 服务器为团队提供了一个兼容 Tinker 的替代方案,以按 GPU 时长付费取代按 token 定价,据称多 LoRA 共享可将成本降低最多 80%。
Ai2 发布了 OlmoEarth v1.3,这是一个卫星嵌入模型,可将一年的 Sentinel-1、Sentinel-2 和 Landsat 时间序列转换为每个 10 米像素一个 128 维向量,其中前 64 维可作为更小的嵌入使用。Ai2 预计算了全球的年度嵌入并发布在 Source Cooperative 上,其 128 维嵌入在针对 AlphaEarth Foundations 和 Tessera v2 的 27 项评估中有 20 项得分最高,包括一项名为 PLANTEUR 的新热带作物基准。此次发布还包括 OlmoEarth Embeddings Explorer,这是一个无需登录的浏览器工具,可用于比较年份、查找相似地点并就地训练小型分类器,其中 2025、2024 和 2023 年为全球范围,2017 至 2022 年覆盖部分国家;权重、预训练数据和代码均已开放。
inclusionAI 发布了 Ling-3.0-flash-Sante,这是一个基于 Ling-3.0-flash 构建的医疗健康专用模型,总参数 124B,每 token 激活参数 5.1B,权重已上传至 Hugging Face 和 ModelScope。它采用混合线性 MoE 架构,结合 Kimi Delta Attention、门控 MLA 和稀疏 MoE 层,训练上下文长度达 256K token,默认启用思考模式,并可通过兼容的服务框架进行工具调用。该公司将其标注为研究模型,而非医疗器械,并表示其输出不得替代专业医疗建议、诊断或治疗。
微软研究员张新智(Xinzhi Zhang)与一位合著者证明了Kannan-Lovász-Simonovits(KLS)猜想——一个悬而未决31年的高维几何开放问题,表明该界可由一个与维度无关的通用常数成立。该证明源自一个人工引导的智能体过程:AI智能体探索了100多种候选方法,研究人员则对搜索进行剪枝和重新引导;而在相当token预算下用领先模型进行的另一次无引导尝试未能成功。同日另有两篇证明出现,随后还发布了Lean 4形式化。
推荐理由:一个悬而未决31年的高维几何开放问题,通过人工引导的智能体搜索在大约100种候选方法中得到解决,并以独立证明和Lean形式化作为确认。
Anthropic 邀请学术机构、非营利组织和政府实验室的首席研究员及其研究团队申请为期 8–12 周的客座研究员项目,在因果人类生物学、结构与计算分子生物学、药物化学、药物发现和临床科学等领域使用 Claude。Anthropic 将免费运行其模型和工具链,成果将以开源数据和代码形式发布,同时研究员保留对其数据的权利。申请开放约 14 天,入选参与者将在截止后约 14 天通过电子邮件收到通知。
Modal 发布了 Modal Dojo,这是一个训练库,提供构建模块、调优好的默认配方以及一个可观测性仪表盘,用于生产级 LLM 后训练。它基于开源框架 Miles 和 Slime 构建,支持从 5 亿到数万亿参数的模型,并暴露 API 和 CLI,智能体可以驱动它们来启动和调试运行。Modal 表示,Axiom Bio 使用它将 DeepSeek V4.1 Flash 的 64k 上下文运行扩展到 64 块 B300,Afterquery 则以 256k 上下文长度训练 Kimi 和 DeepSeek。
Apple研究人员(与滑铁卢大学合作)提出TEAL,这是首个基于冻结ViT表示的像素级主动学习框架,通过两级MaxHerding策略直接在原生token格上选择多样化候选,并结合基于margin的不确定性精炼。在每张图像仅有一个标注像素的情况下,TEAL在CamVid、Cityscapes、ADE20K和Pascal Context上比最强基线最高提升+24.36 mIoU,仅用10 px即达到全监督性能的97%。
Google 发布了 Meta TorchTitan 的 TPU 分支版本,该版本通过 TorchTPU 原生的 torch.device("tpu") 后端在 Cloud TPU 上运行 PyTorch 训练,配备 TPU 原生内核和分步优化手册。在 TPU v7x(Ironwood)上,Llama 3 405B 在 128 至 1,024 芯片范围内保持约 57% MFU,Qwen3 235B 在单个 1,024 芯片切片上达到 32.42% MFU,FLUX.1 在 1,024 芯片上以 93% 弱扩展效率达到 19.4% MFU。该分支位于 https://github.com/google-pytorch/torchtitan/,此外还有 Transformers 建模后端和 agent 接入技能,可将同一训练器扩展到其他检查点。
推荐理由:Google 与 Meta 合作把 TorchTitan 移植到 TPU,并给出从 FLUX.1 到 Qwen3 235B 的逐级调优路径与 MFU 数字,可作为 PyTorch 团队评估 TPU 训练可行性的参考。
Google Research 介绍了三个旨在让 AI 智能体扎根于真实湿实验室实验的项目,其中包括 VERID 框架——一个基于开源 PyLabRobot 框架构建的实验室工作单元语义数字孪生,可跟踪台面布局、孔体积和吸头库存,并在执行前对协议进行干运行。
推荐理由:Google Research 概述了三个将 AI 智能体连接到真实湿实验室硬件的项目,展示了模拟干运行和闭环实验如何让智能体修正自身的设计规则。
Rivian CEO RJ Scaringe 表示,机器人技术的进展将“远、远、远、远快于”世界的预期,他提到如今机器人通过基于 transformer 的模型学习广泛、可泛化的技能。他于 2025 年创立的初创公司 Mind Robotics 融资 10 亿美元,用于打造销售给制造商的双臂工业机器人,并在 Rivian 的工厂内训练这项技术。
Mistral 发布了 Timestral,这是其首个时间序列基础模型系列,包含从 5M 到 209M 参数的四种规模。最大的模型在 GIFT-Eval、TIME 和 fev-bench 三大主要公开基准上,在来自单一检查点、未使用集成方法的预训练零样本模型中排名第一,且参数量仅为此前最先进模型的三分之二。Timestral 可生成具有 21 个分位数的概率多变量预测,支持仅历史协变量和已知未来协变量,可在无 GPU 的 CPU 上运行,并可通过 Mistral Forge 进行微调,同时在修改版 MIT 许可证下发布了 GitHub 仓库和技术报告。
推荐理由:Mistral 的首个时间序列基础模型系列凭借 209M 参数的检查点在 GIFT-Eval、TIME 和 fev-bench 上宣称获得零样本排名第一,为预测工作提供了规模与精度的权衡参考。
Goodfire研究员认为,神经网络中多义性和叠加现象的经典证据被误读了,看似随意的打包实际上主要是一种他称之为递归泛化的模式。用常规架构改进、不改变模型大小或训练数据重新训练InceptionV1后,其最后一层99-100%的神经元变得易于解释;对Qwen3-32B的初步审计估计约90%的神经元极点只有一个主要职责。文章结论是网络使用一种学习原理而非两种,因此可解释性可以直接研究神经元和电路,而不必先训练稀疏自编码器等分解模型。
推荐理由:这是对该领域经典多义性证据的第一手重新解读,主张网络是递归泛化而非打包不相关的概念,这将使直接的机制性研究变得可行。
Modal 在 agentic coding 任务上训练 Qwen3.6-35B-A3B,采样器分布在六种加速器类型(B200、B300、H100、H200、A100、RTX PRO 6000)上,采用 NVFP4、FP8 和 BF16 精度,向 B200 上的单个 BF16 训练器供给数据。普通 GRPO 在混合与同构采样器上均崩溃,但加入掩码重要性采样加分数中心化(无论是否配合 top-p 掩码重放)后,训练稳定进行到最后,并在 SWE-bench Pro V2 pass@4 上达到与同构采样器相当的水平,每次更新的采样器成本约低 15%。混合采样器运行时的平均采样器-训练器 KL 是同构设置的 4.7 倍,作者认为稳定性取决于将失配保持在有界范围内,而非保持低值。
Amazon Web Services 研究人员提出 priming,一种复用预训练 Transformer 权重的方法,可将混合状态空间架构的预训练成本降低 99% 以上,仅使用源模型预训练 token 预算的不到 0.5%。在受控比较中,Gated KalmaNet 优于 Gated DeltaNet 和 Mamba-2,而基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 表现相当,同时在 128,000 token 上下文下解码速度最高可达两倍。团队以 Apache 2.0 许可证发布了 8B 和 32B 的 primed 混合模型、训练代码、Triton 内核以及 vLLM 服务插件。
推荐理由:Amazon Web Services 研究人员表明,复用预训练 Transformer 权重可将混合架构预训练成本降低 99% 以上,使状态空间层的受控比较变得可行。
6 Sol 和 Fable 5 各自独立重新发现了一种可与自蒸馏策略优化(SDPO)相媲美的新型后训练技术,并在无互联网访问的沙盒中分别获得 3,000 GPU 小时。6 Sol 的方法在很大程度上复制自先前工作,在调整训练速度较慢的因素后,达到了 SDPO 增益的 15%,而 Fable 5 的技术未能提升性能。
Epoch AI估计,到2027年出货的AI芯片可支持约3000万至1.7亿个并发前沿模型智能体;若运行更便宜的模型,则可支持近20亿个。其研究还发现,固定AI性能水平的成本在过去三年中每季度下降约47%,约合每年13倍。另外,Epoch估计中国在半导体供应冲击中的风险敞口是美国的2.7倍。
Zyphra Research 表明 MoE 路由具有高度结构性:同一层内被共同选中的专家相互关联,且一个 token 的专家选择可预测后续层的路由。利用这一点,通过相关专家放置和 token 重排,在 MI300X GPU 上的 Megatron-LM 实验中,将全对全通信时间最多缩短 2.63 倍,端到端训练步时间最多提升 1.41 倍,且不改变架构或路由决策。
Waymo经同行评审的研究发现,即使完全清醒的司机,夜间致命事故风险也比白天高3.1至3.9倍;而剔除酒驾司机后,城市平均致命事故参与率从每亿英里1.42起降至1.10起,降幅23%。另一项针对2023年FARS数据库中37,654起致命案例的研究显示,仅8.2%完全涉及纯人为因素。Waymo将这些发现视为对“安全系统方法”的支持,以及对以零BAC人类基线为基准衡量自动驾驶的支持。
Epoch AI估计,未来两年生产出的AI算力可支持数千万至数亿个并发智能体运行当今最强的模型,或支持数十亿个智能体运行更便宜的模型。该分析基于2025年至2027年的HBM出货量预测,统计了GB300等效GPU,发现顶级智能体不间断运行可提供约1.4亿至7亿名全职员工的每周工时,而DeepSeek V4 Pro的服务基准测试则意味着约19亿个并发智能体。报告指出,关键的不确定性在于需求能否增长得足够快以证明这一建设规模的合理性,还是会留下过剩的智能体。