跳到正文
  1. Hugging Face Blog69

    IBM 发布基于 Granite 4.1 3B 和 8B 构建的 LLMON 预览模型

    IBM 发布了两款实验性预览模型 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,它们基于 Granite 4.1 基础检查点衍生,经过训练能够读取和生成 LLMON——一种 LLM 原生标记语言,用保留的特殊 token 分隔符来标记指令、数据和需求。在 OPI 基准上,这些模型比测试中表现最好的前沿模型多规避了 47% 的间接提示注入攻击,比最好的开源模型多规避了 95%,同时在标准基准上的表现与 Granite 4.1 Instruct 相当。此次发布包含一个 GitHub 工具包,提供无损的 JSON 到 LLMON 转换器,作者指出该预览版仅供探索,不适用于生产环境。

    推荐理由:IBM 在 Granite 4.1 上训练出能读写 LLMON 标记的预览模型,通过显式的指令与数据分离,将 OPI 基准上的间接提示注入成功率压到接近零,同时保持通用能力。

  1. Google DeepMind72

    DeepMind 发布 AlphaGenome 2,一种预测特定细胞类型中变异效应的 DNA 模型

    Google DeepMind 宣布推出 AlphaGenome 2,这是一款下一代 DNA 序列模型,可预测 DNA 序列及其变异如何影响特定的人类细胞类型。该条件模型基于 68 种组织中超过 1.07 亿个单细胞图谱训练,识别出的改变表达的变异数量几乎是上一模型的两倍;在 TenK10K 免疫细胞数据集上,它找回了 30% 的因果变异,而原始 AlphaGenome 在单细胞数据上微调后仅找回 16%。该模型可通过 AlphaGenome API 用于非商业研究,并以私有预览形式开放商业研究使用。

    推荐理由:AlphaGenome 2 从批量组织平均值转向单细胞条件化,在免疫细胞数据上将因果变异召回率大约翻倍,这对于将 GWAS 信号与特定细胞类型关联起来具有重要意义。

  1. Amazon Science62

    Amazon 发布 Mitra-v2 表格基础模型,采用规模化合成预训练

    Amazon 推出 Mitra-v2,这是用于分类和回归的第二代表格基础模型,随附微调模型以及推理和微调代码,以 Apache-2.0 许可证在 Hugging Face 上发布。它使用合成表格进行预训练,行数是 Mitra-v1 的 10 倍,列数约为其 3 倍,采用新的混合 SCM 先验和混合优化器,同时保持 Transformer 架构不变。在包含 51 个真实世界数据集的公开基准 TabArena 上,Mitra-v2 在单模型领域领先,在两者均原生运行的 33 个数据集中的 32 个上优于 Mitra-v1,并在 1 小时预算内完成全部 51 个数据集;微调后的 Mitra-v2 还在 ScoringBench 上排名第一。

    推荐理由:Mitra-v2 表明,扩大合成预训练数据而非加深网络,能将表格基础模型提升至 TabArena 单模型领域的首位。

  1. Mistral AI71

    Mistral 发布 Timestral 时间序列基础模型,在 GIFT-Eval、TIME 和 fev-bench 上登顶

    Mistral 发布了 Timestral,这是其首个时间序列基础模型系列,包含从 5M 到 209M 参数的四种规模。最大的模型在 GIFT-Eval、TIME 和 fev-bench 三大主要公开基准上,在来自单一检查点、未使用集成方法的预训练零样本模型中排名第一,且参数量仅为此前最先进模型的三分之二。Timestral 可生成具有 21 个分位数的概率多变量预测,支持仅历史协变量和已知未来协变量,可在无 GPU 的 CPU 上运行,并可通过 Mistral Forge 进行微调,同时在修改版 MIT 许可证下发布了 GitHub 仓库和技术报告。

    推荐理由:Mistral 的首个时间序列基础模型系列凭借 209M 参数的检查点在 GIFT-Eval、TIME 和 fev-bench 上宣称获得零样本排名第一,为预测工作提供了规模与精度的权衡参考。

已经到底了