跳到正文
11月4日周三
  1. Ai2 · Allen Institute for AI38

    Ai2 与 Google 合作开发 NeuralGCM+ 气候模型

    Ai2 启动了一项气候建模计划,由 Google.org 提供三年资助,Google Research 提供技术支持,旨在开发开源模型 NeuralGCM+,以实现更快、更可靠的气候预测。该项目扩展了 Google Research 的 NeuralGCM——该模型将大尺度动力学的物理方程与云形成、降雨等小尺度过程的 AI 相结合——以同时模拟大气和海洋。Ai2 的目标是降低过去 50 年区域气温和降雨的误差,并向外部研究人员发布带有文档化工作流程的模型和框架。

  2. Meta Engineering Blog34

    Meta F3 Lightning 将广告机器学习特征发布速度提升约 3.6 倍

    Meta 推出了 F3 Lightning,这是构建在其 Facebook Feature Framework(F3)之上的基础设施层,它将特征发布与共享执行解耦,使 20,000 多个广告排序特征中的每一个都能独立编译、验证、部署和回滚。与之前的 F3 相比,同类提取特征现在进入生产环境的速度提升了约 3.6 倍,且基础设施计算成本没有增加。

  3. Anthropic Research66

    Anthropic 生物实验室报告首个原核生物穹窿颗粒结构,由 Claude 解析

    Anthropic 的生物研究实验室报告了原核细胞中发现的穹窿颗粒的首个三维结构,这是一种名为 L05 的噬菌体蛋白,由 96 个拷贝构成,质量约为 9.5 兆道尔顿。在团队的指导下,Claude 搜索了约 150 亿条预测蛋白质的数据库,设计了 DNA 构建体,优化了尺寸排阻色谱分离方法,将纯化时间从三天缩短到约 90 分钟,并运行 RELION 冷冻电镜处理,在 34 小时内产出了首个完整模型。该预印本已提交至 bioRxiv,团队表示这些穹窿颗粒的生物学功能仍未知。

    推荐理由:Anthropic 的生物实验室报告了原核生物穹窿颗粒的首个三维结构,Claude 负责数据库搜索、构建体设计、纯化和冷冻电镜处理。

11月3日周二
  1. Ai2 · Allen Institute for AI55

    Ai2 发布 StateBench,用于测试语言模型如何在长文档中追踪状态变化

    Ai2 推出了 StateBench,这是一个具有四个难度级别的长上下文状态追踪基准,涵盖从不可变赋值到自引用和交叉引用更新。在测试中,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 能够处理较简单的级别,但在最长的通用有限问题上降至 13% 或更低;而 275M 参数的 Gated DeltaNet 和从头训练的混合模型在前三个级别上几乎完美泛化,Transformer 则始终未能学会最难的级别。

  2. Apple Machine Learning Research32

    Attention to Mamba:跨架构蒸馏的配方

    Apple 研究人员提出了一种两阶段配方,用于将 Transformer 蒸馏为不含任何 Attention 模块的纯 Mamba 架构。该方法首先通过适配的核技巧将预训练的 Transformer 蒸馏为线性化 Attention 模型,然后再将其蒸馏为适配的 Mamba 模型。蒸馏得到的 Mamba 保留了 Pythia-1B 的大部分性能,困惑度为 14.01,而教师模型为 13.86,在依赖上下文回忆的任务上存在一定差距。

11月1日周日
  1. Sakana AI Blog40

    Sakana AI研讨会:Jürgen Schmidhuber谈AI的过去与未来,日本进军语言模型、世界模型与物理AI

    Sakana AI于2026年10月26日在东京举办了“从世界模型到真实世界AI”研讨会,首席科学顾问Jürgen Schmidhuber发表了主题演讲,Sakana AI宣布将开发自己的预训练语言模型系列Sakana Sawara(暂定名)。首个小型模型Sawara Small(暂定名)若开发顺利,计划于2027年春季发布。超过400名参会者参加了此次活动,活动还包括Schmidhuber与CEO David Ha之间的对话。

10月30日周五
  1. Microsoft Research40

    微软构建合成企业数据平台以评估 Copilot

    微软的行业评估数据生成平台创建了全规模的合成企业环境,以在不使用客户数据的情况下评估 Microsoft Copilot。该平台基于 O*NET 职业数据、招聘信息和 SEC 文件等公开来源,生成包含用户、会议、电子邮件和文档的真实租户,以及自动化查询管道和质量框架。微软表示,这为 Copilot 建立了首个标准化评估基线。

  2. Microsoft Research22

    Microsoft Research Focus Edition #97:ForkPilot、CABRA、TeleTune 与工作中的 AI 使用

    Microsoft Research Focus Edition #97 重点介绍了 ForkPilot,这是一个自我改进的智能体框架,在六个基准测试中与现有最佳方法表现相当,同时将 AI 处理需求最多降低 59%。该期还涵盖了 CABRA,该框架表明编码智能体仍难以理解不熟悉的代码库,以及 TeleTune,它从用户活动日志中学习可复用的技能。它还考察了 Copilot Chat 活动,其中文档编辑超过了分类活动的 20%。

  3. Amazon Science38

    加速旅行应用中的LLM:Medusa与知识蒸馏

    将知识蒸馏与Medusa框架结合,使拥有11亿参数的TinyLlama学生模型在质量上匹配其700亿参数的Llama-3.1教师模型,同时运行速度快10至20倍,成本不到三分之一。在与Booking.com合作开发AI Trip Planner、Smart Filters和住宿描述生成时,该流程弥合了超过90%的质量差距,并通过Medusa头额外实现了2至3.6倍的加速。

10月29日周四
  1. Meta Engineering Blog40

    Meta Andromeda:Meta 下一代广告检索引擎每秒处理 10 亿条广告

    Meta 详细介绍了其个性化广告检索引擎 Andromeda 的下一代版本,该引擎在生产环境中每秒对超过 10 亿条广告进行评分——相比 2024 年的系统吞吐量提升 100 倍。新架构将受 LLM 启发的混合专家模型引入检索环节,以约 300 分之一的推理 FLOPs 接近排序级模型性能,在单块 NVIDIA GH200 GPU 上每秒可处理超过 100 亿条广告。自 2025 年以来,Andromeda 已在 Facebook 上带来 2.4% 的转化率提升。

  2. Preferred Networks News40

    Zenrin集团与Preferred Networks结成业务与资本联盟,将地理空间数据与AI融合

    Zenrin、Zenrin DataCom与Preferred Networks已签署业务与资本联盟协议,Zenrin旗下公司认购了PFN的第三方定向增发。合作方将把持续更新的地理空间数据(包括历史变更记录)与PFN的生成式AI、物理AI及三维空间识别技术相结合,构建能够理解和预测现实世界变化的AI模型。初期重点领域包括公共部门、房地产、零售与流通,瞄准需求预测、门店选址以及城市规划、防灾和物流模拟。

10月28日周三
  1. Ai2 · Allen Institute for AI40

    研究人员如何将 olmOCR 2 适配于历史和考古档案

    研究人员正在改造 Ai2 的开源 olmOCR 2 模型,用于转录历史和考古档案。历史学家 Maurice Casey 构建了 ArtificeOCR,在本地将 olmOCR 2 与 Tropy 配合运行,使他的档案照片库可进行关键词搜索;而维也纳工业大学的 CENTURIA 项目则用 LoRA 在 57 条标注记录上对 olmOCR 2 进行微调,将 450 条测试记录上的转录错误率从 15.58% 降至 1.11%。

  2. Google Research58

    Google Research 的睡眠框架让 LLM 在不发生灾难性遗忘的情况下巩固新知识

    Google Research 提出了一种用于持续学习的睡眠框架,该框架交替进行主动交互与离线记忆巩固,让 LLM 将新事实吸收到扩展的混合专家参数中,而不是丢失先前的知识。该方法结合了参数扩展、基于策略的蒸馏与基于强化学习的模仿,以及一个生成并筛选合成训练样本的“做梦”阶段。作者报告称,在满语和 Kalamang 等未见语言的持续翻译中性能下降接近零,在 BABILong 上扩展到 1000 万 token 时接近完美,在基于 SQuAD 的事实融入中单任务达到 48.9%、CPT 达到 46.2%,在 AIME 24/25 和 HMMT 25 上分别达到 79.2%、69.0% 和 46.1%。

  3. Meta AI Research Blog30

    Meta支持五所美国大学的AI研究,以加速医学和科学突破

    Meta正在支持五所美国大学的研究——加州理工学院、俄亥俄州立大学医学院、路易斯安那州立大学、印第安纳大学和UTHealth Houston——为其提供最新Muse模型的使用权限、研究人员协作和资金支持。研究人员将使用Muse Spark Open、Muse Wonder、Muse Spark、30B开放权重的Muse Glimmer,以及SAM、V-JEPA、DINO、UMA和SeamlessM4T。项目涵盖医学、物理学、化学、生物学、计算机科学和数学,大学保留对所有患者和临床数据的控制权。

10月27日周二
  1. Ai2 · Allen Institute for AI58

    Ai2 研究测试 LLM 能否可靠判断研究想法的新颖性

    Ai2 发布了 Old Ideas, Novel Problems,这是一项研究和基准,用于测试 LLM 评估研究想法新颖性的可靠程度,同时发布了数据、代码以及用于构建新评估集的流水线。在包括 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 在内的六个评审模型中,提示词的微小改动使 AI 生成想法上的准确率变化超过 50 个百分点,而一个简单的提示式 Claude Opus 4.6 基线以 2.59 美元的成本取得 0.854 的 macro-F1,相比之下 Idea Novelty Checker 以 30.66 美元取得 0.642,Sakana AI 的 AI Scientist 以 82.05 美元取得 0.772。

  2. Anthropic Research65

    Anthropic 报告利用 Claude 加速药物开发的早期进展

    Anthropic 的生命科学团队花了数月时间与六家药物开发商合作,包括百时美施贵宝、Generate Biomedicines 和 Divergence Labs,同时开展自己的发现项目,以测试 Claude 能在哪些环节加速药物开发。报告的早期结果包括:Generate 设计的一个版本比标准版本短约 70%,使免疫细胞产生的受体数量增加约 10 倍;以及在大约一个月内为 Divergence 主要自主生成了约 35,000 个抗体设计。Anthropic 表示,这项工作仍主要处于临床前阶段,并计划随着项目推进将 Claude 扩展到临床试验中。

    推荐理由:Anthropic 首次详细披露将 Claude 嵌入真实药物项目的实践,展示了该模型在六家合作伙伴中哪些环节有帮助、哪些环节仍有不足。

10月23日周五
  1. Ai2 · Allen Institute for AI31

    LitPivot:Ai2 的系统帮助研究者通过文献调整研究方向

    Ai2 与宾夕法尼亚大学的研究人员构建了 LitPivot,该系统围绕正在编辑的研究提案的各个方面来组织检索到的论文,并给出有文献支撑的修改建议。在一项有 17 名研究者参与的研究中,领域专家认为,使用 LitPivot 形成的想法比使用文本编辑器和 AI 聊天工具形成的想法更有文献依据。参与者还表示,他们修改后的想法更具新颖性和实用性,LitPivot 将在 UIST 2026 上展示。

  2. Amazon Science38

    TorchNeuron 背后的科学:亚马逊为 AWS Trainium 芯片打造的新 PyTorch 后端

    亚马逊发布了 TorchNeuron,这是一个开源 PyTorch 后端,可将 PyTorch 代码转换为可在 AWS Trainium 系统上执行的操作,且只需极少代码改动或无需改动。它新增了一种可选的自适应 eager 模式,通过分组并编译操作来接近编译模式的性能,还提供多级 NEFF 缓存;在一项 64 进程的 LLM 测试中,共享编译服务将首次训练步骤的时间缩短了约三分之一。Annapurna 团队使用从数十万个开源模型中提炼出的 841 个代表性模型对其进行了调优和基准测试。

10月22日周四
  1. Modal Blog71

    Modal 发布 Spindle:一个开源、兼容 Tinker 的训练服务器

    Modal 发布了 Spindle,这是一个开源、兼容 Tinker 的训练服务器,运行在客户的 Modal 工作区内,让团队可以自定义技术栈,并按 GPU 时长付费,而不是按 token 付费。Spindle 支持对开源模型进行全参数训练和多 LoRA,Modal 报告称,在一个 DAPO-math GRPO 任务上,让 8 个客户端共享一个训练器,相比 Tinker 可将每 100 万输出 token 的成本降低最多 80%。Modal 表示 Spindle 仍处于 beta 阶段,并将其定位在其 Dojo 训练库与原始集群原语之间。

    推荐理由:Modal 的开源 Spindle 服务器为团队提供了一个兼容 Tinker 的替代方案,以按 GPU 时长付费取代按 token 定价,据称多 LoRA 共享可将成本降低最多 80%。

  2. Ai2 · Allen Institute for AI58

    Ai2 发布 OlmoEarth v1.3 卫星嵌入模型,提供全球预计算嵌入与浏览器探索工具

    Ai2 发布了 OlmoEarth v1.3,这是一个卫星嵌入模型,可将一年的 Sentinel-1、Sentinel-2 和 Landsat 时间序列转换为每个 10 米像素一个 128 维向量,其中前 64 维可作为更小的嵌入使用。Ai2 预计算了全球的年度嵌入并发布在 Source Cooperative 上,其 128 维嵌入在针对 AlphaEarth Foundations 和 Tessera v2 的 27 项评估中有 20 项得分最高,包括一项名为 PLANTEUR 的新热带作物基准。此次发布还包括 OlmoEarth Embeddings Explorer,这是一个无需登录的浏览器工具,可用于比较年份、查找相似地点并就地训练小型分类器,其中 2025、2024 和 2023 年为全球范围,2017 至 2022 年覆盖部分国家;权重、预训练数据和代码均已开放。

  3. inclusionAI Models58

    inclusionAI 发布 Ling-3.0-flash-Sante,一个 124B 医疗健康专用 MoE 模型

    inclusionAI 发布了 Ling-3.0-flash-Sante,这是一个基于 Ling-3.0-flash 构建的医疗健康专用模型,总参数 124B,每 token 激活参数 5.1B,权重已上传至 Hugging Face 和 ModelScope。它采用混合线性 MoE 架构,结合 Kimi Delta Attention、门控 MLA 和稀疏 MoE 层,训练上下文长度达 256K token,默认启用思考模式,并可通过兼容的服务框架进行工具调用。该公司将其标注为研究模型,而非医疗器械,并表示其输出不得替代专业医疗建议、诊断或治疗。

  4. Microsoft Research64

    微软研究院与合著者证明了31年历史的KLS猜想

    微软研究员张新智(Xinzhi Zhang)与一位合著者证明了Kannan-Lovász-Simonovits(KLS)猜想——一个悬而未决31年的高维几何开放问题,表明该界可由一个与维度无关的通用常数成立。该证明源自一个人工引导的智能体过程:AI智能体探索了100多种候选方法,研究人员则对搜索进行剪枝和重新引导;而在相当token预算下用领先模型进行的另一次无引导尝试未能成功。同日另有两篇证明出现,随后还发布了Lean 4形式化。

    推荐理由:一个悬而未决31年的高维几何开放问题,通过人工引导的智能体搜索在大约100种候选方法中得到解决,并以独立证明和Lean形式化作为确认。

  5. Anthropic Newsroom28

    Anthropic 开放生命科学领域客座研究员招募

    Anthropic 邀请学术机构、非营利组织和政府实验室的首席研究员及其研究团队申请为期 8–12 周的客座研究员项目,在因果人类生物学、结构与计算分子生物学、药物化学、药物发现和临床科学等领域使用 Claude。Anthropic 将免费运行其模型和工具链,成果将以开源数据和代码形式发布,同时研究员保留对其数据的权利。申请开放约 14 天,入选参与者将在截止后约 14 天通过电子邮件收到通知。

10月21日周三
  1. Modal Blog58

    Modal 发布 Dojo,一个用于生产级 LLM 训练的库

    Modal 发布了 Modal Dojo,这是一个训练库,提供构建模块、调优好的默认配方以及一个可观测性仪表盘,用于生产级 LLM 后训练。它基于开源框架 Miles 和 Slime 构建,支持从 5 亿到数万亿参数的模型,并暴露 API 和 CLI,智能体可以驱动它们来启动和调试运行。Modal 表示,Axiom Bio 使用它将 DeepSeek V4.1 Flash 的 64k 上下文运行扩展到 64 块 B300,Afterquery 则以 256k 上下文长度训练 Kimi 和 DeepSeek。

  2. Apple Machine Learning Research26

    TEAL:面向低预算语义分割的Token空间高效主动学习

    Apple研究人员(与滑铁卢大学合作)提出TEAL,这是首个基于冻结ViT表示的像素级主动学习框架,通过两级MaxHerding策略直接在原生token格上选择多样化候选,并结合基于margin的不确定性精炼。在每张图像仅有一个标注像素的情况下,TEAL在CamVid、Cityscapes、ADE20K和Pascal Context上比最强基线最高提升+24.36 mIoU,仅用10 px即达到全监督性能的97%。

10月20日周二
  1. Google Developers Blog60

    Google 将 TorchTitan 接入 TorchTPU,并发布 TPU 模型优化手册

    Google 发布了 Meta TorchTitan 的 TPU 分支版本,该版本通过 TorchTPU 原生的 torch.device("tpu") 后端在 Cloud TPU 上运行 PyTorch 训练,配备 TPU 原生内核和分步优化手册。在 TPU v7x(Ironwood)上,Llama 3 405B 在 128 至 1,024 芯片范围内保持约 57% MFU,Qwen3 235B 在单个 1,024 芯片切片上达到 32.42% MFU,FLUX.1 在 1,024 芯片上以 93% 弱扩展效率达到 19.4% MFU。该分支位于 https://github.com/google-pytorch/torchtitan/,此外还有 Transformers 建模后端和 agent 接入技能,可将同一训练器扩展到其他检查点。

    推荐理由:Google 与 Meta 合作把 TorchTitan 移植到 TPU,并给出从 FLUX.1 到 Qwen3 235B 的逐级调优路径与 MFU 数字,可作为 PyTorch 团队评估 TPU 训练可行性的参考。

10月17日周六
  1. Google Research71

    Google Research 概述 VERID 与闭环智能体工作流,用于自主湿实验室

    Google Research 介绍了三个旨在让 AI 智能体扎根于真实湿实验室实验的项目,其中包括 VERID 框架——一个基于开源 PyLabRobot 框架构建的实验室工作单元语义数字孪生,可跟踪台面布局、孔体积和吸头库存,并在执行前对协议进行干运行。

    推荐理由:Google Research 概述了三个将 AI 智能体连接到真实湿实验室硬件的项目,展示了模拟干运行和闭环实验如何让智能体修正自身的设计规则。

10月15日周四
  1. Mistral AI71

    Mistral 发布 Timestral 时间序列基础模型,在 GIFT-Eval、TIME 和 fev-bench 上登顶

    Mistral 发布了 Timestral,这是其首个时间序列基础模型系列,包含从 5M 到 209M 参数的四种规模。最大的模型在 GIFT-Eval、TIME 和 fev-bench 三大主要公开基准上,在来自单一检查点、未使用集成方法的预训练零样本模型中排名第一,且参数量仅为此前最先进模型的三分之二。Timestral 可生成具有 21 个分位数的概率多变量预测,支持仅历史协变量和已知未来协变量,可在无 GPU 的 CPU 上运行,并可通过 Mistral Forge 进行微调,同时在修改版 MIT 许可证下发布了 GitHub 仓库和技术报告。

    推荐理由:Mistral 的首个时间序列基础模型系列凭借 209M 参数的检查点在 GIFT-Eval、TIME 和 fev-bench 上宣称获得零样本排名第一,为预测工作提供了规模与精度的权衡参考。

  2. Goodfire Research62

    Goodfire研究文章认为神经网络本身已是清晰的,叠加现象被误读

    Goodfire研究员认为,神经网络中多义性和叠加现象的经典证据被误读了,看似随意的打包实际上主要是一种他称之为递归泛化的模式。用常规架构改进、不改变模型大小或训练数据重新训练InceptionV1后,其最后一层99-100%的神经元变得易于解释;对Qwen3-32B的初步审计估计约90%的神经元极点只有一个主要职责。文章结论是网络使用一种学习原理而非两种,因此可解释性可以直接研究神经元和电路,而不必先训练稀疏自编码器等分解模型。

    推荐理由:这是对该领域经典多义性证据的第一手重新解读,主张网络是递归泛化而非打包不相关的概念,这将使直接的机制性研究变得可行。

10月13日周二
  1. Modal Blog58

    Modal 在 Qwen3.6-35B-A3B 上测试混合精度、混合加速器 RL 采样器

    Modal 在 agentic coding 任务上训练 Qwen3.6-35B-A3B,采样器分布在六种加速器类型(B200、B300、H100、H200、A100、RTX PRO 6000)上,采用 NVFP4、FP8 和 BF16 精度,向 B200 上的单个 BF16 训练器供给数据。普通 GRPO 在混合与同构采样器上均崩溃,但加入掩码重要性采样加分数中心化(无论是否配合 top-p 掩码重放)后,训练稳定进行到最后,并在 SWE-bench Pro V2 pass@4 上达到与同构采样器相当的水平,每次更新的采样器成本约低 15%。混合采样器运行时的平均采样器-训练器 KL 是同构设置的 4.7 倍,作者认为稳定性取决于将失配保持在有界范围内,而非保持低值。

  2. Amazon Science75

    Amazon Web Services 研究人员提出 priming,可将预训练 Transformer 转换为混合状态空间模型而无需完全重新训练

    Amazon Web Services 研究人员提出 priming,一种复用预训练 Transformer 权重的方法,可将混合状态空间架构的预训练成本降低 99% 以上,仅使用源模型预训练 token 预算的不到 0.5%。在受控比较中,Gated KalmaNet 优于 Gated DeltaNet 和 Mamba-2,而基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 表现相当,同时在 128,000 token 上下文下解码速度最高可达两倍。团队以 Apache 2.0 许可证发布了 8B 和 32B 的 primed 混合模型、训练代码、Triton 内核以及 vLLM 服务插件。

    推荐理由:Amazon Web Services 研究人员表明,复用预训练 Transformer 权重可将混合架构预训练成本降低 99% 以上,使状态空间层的受控比较变得可行。

10月8日周四
  1. Zyphra Research36

    Zyphra Research:专家耦合减少 MoE 预训练通信

    Zyphra Research 表明 MoE 路由具有高度结构性:同一层内被共同选中的专家相互关联,且一个 token 的专家选择可预测后续层的路由。利用这一点,通过相关专家放置和 token 重排,在 MI300X GPU 上的 Megatron-LM 实验中,将全对全通信时间最多缩短 2.63 倍,端到端训练步时间最多提升 1.41 倍,且不改变架构或路由决策。

  2. Waymo Blog30

    Waymo研究:清醒司机夜间致命事故风险仍高出近4倍

    Waymo经同行评审的研究发现,即使完全清醒的司机,夜间致命事故风险也比白天高3.1至3.9倍;而剔除酒驾司机后,城市平均致命事故参与率从每亿英里1.42起降至1.10起,降幅23%。另一项针对2023年FARS数据库中37,654起致命案例的研究显示,仅8.2%完全涉及纯人为因素。Waymo将这些发现视为对“安全系统方法”的支持,以及对以零BAC人类基线为基准衡量自动驾驶的支持。

10月2日周五
  1. Meta AI Research Blog71

    Meta 分享六篇与数学家和 Muse Spark 合著的数学论文

    Meta 发布了六篇数学论文,这些论文由数学家通过常规 meta.ai 聊天界面在 Thinking Mode 下使用 Muse Spark 1.1 和 1.2 协作完成,未使用自定义研究脚手架。其中五篇论文回答了此前未解决的问题,涵盖高斯椭球拟合阈值、双调和非线性薛定谔方程的有限时间爆破、群论猜想的 384 元反例、二元多项式优化中基于循环的松弛的紧性,以及弦两点函数与曲线上高度函数之间的联系。每篇论文都标明了哪些段落主要由研究人员撰写、哪些由 AI 撰写,致谢了先前工作,并承认了其他团队的独立并行解决方案。

    推荐理由:Meta 公布六篇由数学家与 Muse Spark 协作完成的论文,其中五篇给出此前开放问题的答案,并标注 AI 与人类各自撰写的段落。

10月1日周四
  1. Zyphra Research38

    混合NoPE模型如何在无位置编码的情况下学习位置

    Zyphra Research解释了混合语言模型如何在全局注意力层不使用显式位置编码的情况下恢复位置信息。滑动窗口注意力和门控线性注意力等局部层在残差流中产生近因偏差,而全局NoPE注意力学习查询和键投影,将其作为隐式相对位置编码读取出来。这些发现从机制上解释了为什么将局部混合与全局NoPE注意力交错使用效果良好,并指出了能够外推到训练序列长度之外的位置表示。

  2. Goodfire Research58

    Goodfire 为 AI 智能体开发蛋白质嵌入生物安全监测器

    Goodfire Research 开发了序列感知的生物安全监测器,利用蛋白质语言模型嵌入来标记智能体工作流中令人担忧的 DNA 或蛋白质序列。在围绕蛋白质毒素构建的自定义两用基准上,这些监测器优于前沿模型的防护措施,对良性请求的拒绝更少,在母体蛋白质位于筛查数据库中的改写序列上达到约 0.98 AUROC,且每条序列运行时间为毫秒级。作者报告称,随着蛋白质模型能力增强,检测效果会提升,并指出改写序列的结果依赖于计算机模拟估计,无法确定重新设计的蛋白质是否保留生物活性。

9月4日周五
  1. Modal Blog22

    Markov Robotics 使用 Modal 运行端到端机器人训练

    Markov Robotics 正在训练一个世界模型,用于零样本通用机器人灵巧操作,所用机器人数据不到十小时,而同类结果通常需要数千小时。该公司几乎全部计算都运行在 Modal 上,从预处理数百 TB 视频,到 2–10 个并发训练任务,再到通过 Modal Tunnels 进行远程推理,往返延迟约为 20 毫秒。原本可能需要一整天的预处理,现在二十分钟到三十分钟即可完成,并可一次性扇出到多达 500 块 GPU。

9月2日周三
9月1日周二
  1. Zyphra Research48

    Zyphra 发布 PUFFER:面向持续演进训练语料的增量模糊去重系统

    Zyphra 以 Apache 2.0 许可证开源发布了 PUFFER,这是一个具备来源感知能力的增量模糊去重系统,面向持续增长的 LLM 训练语料。相比现有基于 CPU 的去重方法,它实现了 11 倍至 35 倍的加速,单进程可在 1.75 小时内摄取 10 亿份文档,并已在超过 300 亿份文档上完成生产部署。PUFFER 维护一份驻留磁盘的 MinHash-LSH 历史记录,因此可以新增数据集、确定性地恢复中断的任务,并单独撤出某个数据集而无需重建整个语料索引。