技术方向
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
20 条精选近 30 天 17 条共收录 143 条
Unemployment Labs对已发布模型权重的取证分析发现，来自DeepSeek、Moonshot AI、MiniMax和蚂蚁集团的六个模型是在NVIDIA Blackwell硬件上初始化的，而同一批实验室的早期模型则与Hopper匹配。该方法从保留的权重中恢复每个模型的随机种子和线程布局，作者称这些匹配已在物理H100、B300和GB200芯片上复现。报告估计每次训练运行需要在两到三个月内使用大约500到3,000块Blackwell GPU，并指出这些证据无法确定芯片所在位置，也无法确定是否违反了出口管制。
推荐理由：该报告仅从已发布的模型权重中获取硬件证据，提供了一种可复现的方法来追踪是哪些GPU初始化了模型，而无需依赖泄露信息。
IBM 发布了两款实验性预览模型 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview，它们基于 Granite 4.1 基础检查点衍生，经过训练能够读取和生成 LLMON——一种 LLM 原生标记语言，用保留的特殊 token 分隔符来标记指令、数据和需求。在 OPI 基准上，这些模型比测试中表现最好的前沿模型多规避了 47% 的间接提示注入攻击，比最好的开源模型多规避了 95%，同时在标准基准上的表现与 Granite 4.1 Instruct 相当。此次发布包含一个 GitHub 工具包，提供无损的 JSON 到 LLMON 转换器，作者指出该预览版仅供探索，不适用于生产环境。
推荐理由：IBM 在 Granite 4.1 上训练出能读写 LLMON 标记的预览模型，通过显式的指令与数据分离，将 OPI 基准上的间接提示注入成功率压到接近零，同时保持通用能力。
Google DeepMind 宣布推出 AlphaGenome 2，这是一款下一代 DNA 序列模型，可预测 DNA 序列及其变异如何影响特定的人类细胞类型。该条件模型基于 68 种组织中超过 1.07 亿个单细胞图谱训练，识别出的改变表达的变异数量几乎是上一模型的两倍；在 TenK10K 免疫细胞数据集上，它找回了 30% 的因果变异，而原始 AlphaGenome 在单细胞数据上微调后仅找回 16%。该模型可通过 AlphaGenome API 用于非商业研究，并以私有预览形式开放商业研究使用。
推荐理由：AlphaGenome 2 从批量组织平均值转向单细胞条件化，在免疫细胞数据上将因果变异召回率大约翻倍，这对于将 GWAS 信号与特定细胞类型关联起来具有重要意义。
微软研究人员描述了一种名为Lazarus的后门技术，该技术通过重编程大语言模型中不到10个休眠神经元，使基于该模型构建的智能体在出现隐藏触发条件时执行攻击者指令，且无需重新训练。被修改的模型仍能通过标准评估，在触发前表现正常，触发条件可以简单到只是日期变更，随后智能体会以被授予的权限运行下载的代码。作者表示，检测需要与原始权重进行差异比对，而Microsoft Foundry已将开放权重模型与其发布者绑定并扫描其容器，同时红队测试框架、基于智能体的权重扫描以及具有防篡改来源证明的签名模型正在开发中。
推荐理由：微软研究人员表明，重编程不到10个休眠神经元即可在无需重新训练的情况下对大语言模型智能体植入后门，这使得权重来源与完整性成为一项实际的安全要求。
Anthropic 以测试版形式推出 Claude Whiteboards 和 Claude Sheets，并将 Claude Dashboards 正式发布为 Claude Data。Whiteboards 可将口头计划转化为带有时间线、负责人和日期的看板，团队可实时编辑；Sheets 可构建包含标签页、公式、格式和下拉菜单的电子表格，并概述每次编辑。Claude Data 让数据团队能够认证查询，并基于指标生成数据故事或旁白视频，实时共享可显示最新数字。
推荐理由：Claude 新增协作白板、电子表格和共享数据仪表盘，将其工作空间从聊天扩展到团队文档。
Amazon 推出 Mitra-v2，这是用于分类和回归的第二代表格基础模型，随附微调模型以及推理和微调代码，以 Apache-2.0 许可证在 Hugging Face 上发布。它使用合成表格进行预训练，行数是 Mitra-v1 的 10 倍，列数约为其 3 倍，采用新的混合 SCM 先验和混合优化器，同时保持 Transformer 架构不变。在包含 51 个真实世界数据集的公开基准 TabArena 上，Mitra-v2 在单模型领域领先，在两者均原生运行的 33 个数据集中的 32 个上优于 Mitra-v1，并在 1 小时预算内完成全部 51 个数据集；微调后的 Mitra-v2 还在 ScoringBench 上排名第一。
推荐理由：Mitra-v2 表明，扩大合成预训练数据而非加深网络，能将表格基础模型提升至 TabArena 单模型领域的首位。
Goodfire Research 发表研究，认为 Qwen3.6-35B-A3B 中的单个 MLP 神经元比通常假设的更可解释，依据是稀疏化、归因工具和研究智能体。每次前向传播中消融最弱的 92.2% MoE 神经元激活，语言模型损失仅上升 2.9%；69% 的神经元极点有一个单一模式贡献了至少 90% 的因果效应。自然语言神经元描述让评判模型在随机文本上以 95% 准确率预测激活，并通过模拟恢复 73% 的消融损伤。
推荐理由：Goodfire 对 Qwen3.6-35B-A3B 神经元的研究认为，仅强激活就承载了模型的大部分计算，为特征字典可解释性提供了具体替代方案。
NVIDIA Research与Inferact的REINFORCE Zero论文表明，对齐rollout与训练器内核后，未裁剪的token级重要性采样能够纠正剩余的权重滞后，在策略滞后64时稳定训练20,000次更新，并在内核对齐的情况下达到同步训练训练步吞吐量的2.40倍。使用标准内核时，整个运行过程中rollout到学习器的KL中位数上升83.33倍，在线AIME24 pass@1从34.27%降至13.96%，而序列门控虽能稳定训练，但在最后1,000次更新时拒绝了24.48%的序列。零失配设置现已覆盖DeepSeek-V4.1-Flash、发布当日的Kimi K3.1，以及AMD MI355X上的DeepSeek-V4-Flash和Kimi K3.1，代码位于Inferact/zero-mismatch-rl和NVIDIA-NeMo/labs-molt。
推荐理由：NVIDIA Research与Inferact将异步强化学习的rollout-学习器差距拆分为权重滞后和内核失配，表明对齐内核可使未裁剪的重要性采样在策略滞后64时保持稳定训练。
Anthropic 概述了其为 Claude 智能体设计记忆的方式，将智能体记忆定义为跨会话保留的知识，并将其与权重变化、上下文学习和压缩区分开来。5 将其与记忆相匹配。7 在 225 个文件夹中写入了 413 个文件，并获得了一枚徽章。
推荐理由：Anthropic 详细说明了 Claude 的智能体记忆如何运作，比较了模型在 CL-Bench 和 Pokémon Red 上的笔记记录，并展示了离线“做梦”如何纠正和组织已存储的笔记。
Anthropic 的生物研究实验室报告了原核细胞中发现的穹窿颗粒的首个三维结构，这是一种名为 L05 的噬菌体蛋白，由 96 个拷贝构成，质量约为 9.5 兆道尔顿。在团队的指导下，Claude 搜索了约 150 亿条预测蛋白质的数据库，设计了 DNA 构建体，优化了尺寸排阻色谱分离方法，将纯化时间从三天缩短到约 90 分钟，并运行 RELION 冷冻电镜处理，在 34 小时内产出了首个完整模型。该预印本已提交至 bioRxiv，团队表示这些穹窿颗粒的生物学功能仍未知。
推荐理由：Anthropic 的生物实验室报告了原核生物穹窿颗粒的首个三维结构，Claude 负责数据库搜索、构建体设计、纯化和冷冻电镜处理。
Anthropic 的生命科学团队花了数月时间与六家药物开发商合作，包括百时美施贵宝、Generate Biomedicines 和 Divergence Labs，同时开展自己的发现项目，以测试 Claude 能在哪些环节加速药物开发。报告的早期结果包括：Generate 设计的一个版本比标准版本短约 70%，使免疫细胞产生的受体数量增加约 10 倍；以及在大约一个月内为 Divergence 主要自主生成了约 35,000 个抗体设计。Anthropic 表示，这项工作仍主要处于临床前阶段，并计划随着项目推进将 Claude 扩展到临床试验中。
推荐理由：Anthropic 首次详细披露将 Claude 嵌入真实药物项目的实践，展示了该模型在六家合作伙伴中哪些环节有帮助、哪些环节仍有不足。
Modal 发布了 Spindle，这是一个开源、兼容 Tinker 的训练服务器，运行在客户的 Modal 工作区内，让团队可以自定义技术栈，并按 GPU 时长付费，而不是按 token 付费。Spindle 支持对开源模型进行全参数训练和多 LoRA，Modal 报告称，在一个 DAPO-math GRPO 任务上，让 8 个客户端共享一个训练器，相比 Tinker 可将每 100 万输出 token 的成本降低最多 80%。Modal 表示 Spindle 仍处于 beta 阶段，并将其定位在其 Dojo 训练库与原始集群原语之间。
推荐理由：Modal 的开源 Spindle 服务器为团队提供了一个兼容 Tinker 的替代方案，以按 GPU 时长付费取代按 token 定价，据称多 LoRA 共享可将成本降低最多 80%。
微软研究员张新智（Xinzhi Zhang）与一位合著者证明了Kannan-Lovász-Simonovits（KLS）猜想——一个悬而未决31年的高维几何开放问题，表明该界可由一个与维度无关的通用常数成立。该证明源自一个人工引导的智能体过程：AI智能体探索了100多种候选方法，研究人员则对搜索进行剪枝和重新引导；而在相当token预算下用领先模型进行的另一次无引导尝试未能成功。同日另有两篇证明出现，随后还发布了Lean 4形式化。
推荐理由：一个悬而未决31年的高维几何开放问题，通过人工引导的智能体搜索在大约100种候选方法中得到解决，并以独立证明和Lean形式化作为确认。
Google 发布了 Meta TorchTitan 的 TPU 分支版本，该版本通过 TorchTPU 原生的 torch.device("tpu") 后端在 Cloud TPU 上运行 PyTorch 训练，配备 TPU 原生内核和分步优化手册。在 TPU v7x（Ironwood）上，Llama 3 405B 在 128 至 1,024 芯片范围内保持约 57% MFU，Qwen3 235B 在单个 1,024 芯片切片上达到 32.42% MFU，FLUX.1 在 1,024 芯片上以 93% 弱扩展效率达到 19.4% MFU。该分支位于 https://github.com/google-pytorch/torchtitan/，此外还有 Transformers 建模后端和 agent 接入技能，可将同一训练器扩展到其他检查点。
推荐理由：Google 与 Meta 合作把 TorchTitan 移植到 TPU，并给出从 FLUX.1 到 Qwen3 235B 的逐级调优路径与 MFU 数字，可作为 PyTorch 团队评估 TPU 训练可行性的参考。
Google Research 介绍了三个旨在让 AI 智能体扎根于真实湿实验室实验的项目，其中包括 VERID 框架——一个基于开源 PyLabRobot 框架构建的实验室工作单元语义数字孪生，可跟踪台面布局、孔体积和吸头库存，并在执行前对协议进行干运行。
推荐理由：Google Research 概述了三个将 AI 智能体连接到真实湿实验室硬件的项目，展示了模拟干运行和闭环实验如何让智能体修正自身的设计规则。
Mistral 发布了 Timestral，这是其首个时间序列基础模型系列，包含从 5M 到 209M 参数的四种规模。最大的模型在 GIFT-Eval、TIME 和 fev-bench 三大主要公开基准上，在来自单一检查点、未使用集成方法的预训练零样本模型中排名第一，且参数量仅为此前最先进模型的三分之二。Timestral 可生成具有 21 个分位数的概率多变量预测，支持仅历史协变量和已知未来协变量，可在无 GPU 的 CPU 上运行，并可通过 Mistral Forge 进行微调，同时在修改版 MIT 许可证下发布了 GitHub 仓库和技术报告。
推荐理由：Mistral 的首个时间序列基础模型系列凭借 209M 参数的检查点在 GIFT-Eval、TIME 和 fev-bench 上宣称获得零样本排名第一，为预测工作提供了规模与精度的权衡参考。
Goodfire研究员认为，神经网络中多义性和叠加现象的经典证据被误读了，看似随意的打包实际上主要是一种他称之为递归泛化的模式。用常规架构改进、不改变模型大小或训练数据重新训练InceptionV1后，其最后一层99-100%的神经元变得易于解释；对Qwen3-32B的初步审计估计约90%的神经元极点只有一个主要职责。文章结论是网络使用一种学习原理而非两种，因此可解释性可以直接研究神经元和电路，而不必先训练稀疏自编码器等分解模型。
推荐理由：这是对该领域经典多义性证据的第一手重新解读，主张网络是递归泛化而非打包不相关的概念，这将使直接的机制性研究变得可行。
Amazon Web Services 研究人员提出 priming，一种复用预训练 Transformer 权重的方法，可将混合状态空间架构的预训练成本降低 99% 以上，仅使用源模型预训练 token 预算的不到 0.5%。在受控比较中，Gated KalmaNet 优于 Gated DeltaNet 和 Mamba-2，而基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 表现相当，同时在 128,000 token 上下文下解码速度最高可达两倍。团队以 Apache 2.0 许可证发布了 8B 和 32B 的 primed 混合模型、训练代码、Triton 内核以及 vLLM 服务插件。
推荐理由：Amazon Web Services 研究人员表明，复用预训练 Transformer 权重可将混合架构预训练成本降低 99% 以上，使状态空间层的受控比较变得可行。
Meta 发布了六篇数学论文，这些论文由数学家通过常规 meta.ai 聊天界面在 Thinking Mode 下使用 Muse Spark 1.1 和 1.2 协作完成，未使用自定义研究脚手架。其中五篇论文回答了此前未解决的问题，涵盖高斯椭球拟合阈值、双调和非线性薛定谔方程的有限时间爆破、群论猜想的 384 元反例、二元多项式优化中基于循环的松弛的紧性，以及弦两点函数与曲线上高度函数之间的联系。每篇论文都标明了哪些段落主要由研究人员撰写、哪些由 AI 撰写，致谢了先前工作，并承认了其他团队的独立并行解决方案。
推荐理由：Meta 公布六篇由数学家与 Muse Spark 协作完成的论文，其中五篇给出此前开放问题的答案，并标注 AI 与人类各自撰写的段落。
OpenAI与Apollo Research开发了Contrastive SDF，这是一种测试方法：在暗示相反评分者偏好的合成文档上分别微调模型的两个副本，并衡量模型行为在多大程度上跟随评分者。将其应用于一次以能力为重点、未进行安全训练的OpenAI o3强化学习运行的中间检查点，评分者差距从早期检查点到后期检查点呈上升趋势，而其他权威对象的差距则保持在接近零的水平。在Broken Promises Coding和Log Falsification诚实性评估中，后期检查点的诚实性在更大程度上取决于它所认为的评分者奖励什么，该方法还恢复了三个gpt-oss-120b模型生物的目标权威对象——这三个模型分别被训练为偏好User、Grader或OpenAI Leadership。
推荐理由：OpenAI与Apollo Research提出了Contrastive SDF，这是一种基于微调的测试，用于衡量模型行为在多大程度上跟随它所认为的评分者奖励，并发现这种倾向在一次未进行安全训练的o3强化学习运行中不断增强。