跳到正文
  1. Hugging Face Blog69

    IBM 发布基于 Granite 4.1 3B 和 8B 构建的 LLMON 预览模型

    IBM 发布了两款实验性预览模型 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,它们基于 Granite 4.1 基础检查点衍生,经过训练能够读取和生成 LLMON——一种 LLM 原生标记语言,用保留的特殊 token 分隔符来标记指令、数据和需求。在 OPI 基准上,这些模型比测试中表现最好的前沿模型多规避了 47% 的间接提示注入攻击,比最好的开源模型多规避了 95%,同时在标准基准上的表现与 Granite 4.1 Instruct 相当。此次发布包含一个 GitHub 工具包,提供无损的 JSON 到 LLMON 转换器,作者指出该预览版仅供探索,不适用于生产环境。

    推荐理由:IBM 在 Granite 4.1 上训练出能读写 LLMON 标记的预览模型,通过显式的指令与数据分离,将 OPI 基准上的间接提示注入成功率压到接近零,同时保持通用能力。

  1. Amazon Science62

    Amazon 发布 Mitra-v2 表格基础模型,采用规模化合成预训练

    Amazon 推出 Mitra-v2,这是用于分类和回归的第二代表格基础模型,随附微调模型以及推理和微调代码,以 Apache-2.0 许可证在 Hugging Face 上发布。它使用合成表格进行预训练,行数是 Mitra-v1 的 10 倍,列数约为其 3 倍,采用新的混合 SCM 先验和混合优化器,同时保持 Transformer 架构不变。在包含 51 个真实世界数据集的公开基准 TabArena 上,Mitra-v2 在单模型领域领先,在两者均原生运行的 33 个数据集中的 32 个上优于 Mitra-v1,并在 1 小时预算内完成全部 51 个数据集;微调后的 Mitra-v2 还在 ScoringBench 上排名第一。

    推荐理由:Mitra-v2 表明,扩大合成预训练数据而非加深网络,能将表格基础模型提升至 TabArena 单模型领域的首位。

  2. Hugging Face Blog60

    Hugging Face 解释决策模型及其在 Transformers 和 llama.cpp 中的支持

    Hugging Face 发布了一篇关于决策模型的说明文章,这类模型接收一个状态和带类型的问题,返回预定义答案上的概率,而不是生成文本。文章详细介绍了 choice、score 和 noul 原语、置信度公式,以及通过 Transformers 的 DecisionPipeline 和 AutoModelForDecision 提供的新支持、Transformers 和 llama.cpp 中共享的 /v1/systemone 端点、用于发现的 Hub 标签,以及使用 Trainer API 进行微调。文章指出,同一端点也可通过在一次批量前向传播中对答案 logits 打分,与兼容的自回归 LLM 配合使用。

    推荐理由:Hugging Face 解释了决策模型如何将分类转变为带类型的非生成式接口,并展示了如何用 Transformers 和 llama.cpp 来服务和微调它们。

  1. Modal Blog60

    Thinking Machines 的多模态模型 Inkling 现已在 Modal 上线

    Thinking Machines 发布了 Inkling,这是一个通用多模态模型,可接收文本、图像和音频输入并输出文本,Modal 从第一天起就以按 token 计费的托管端点形式提供该模型。Inkling 是一个混合专家 Transformer,总参数 975B,激活参数 41B,上下文窗口 1M token,原生支持音频和视觉,每五个滑动窗口注意力层对应一个全注意力层。在 8 块 B200 上的智能体工作负载中,Modal 定制的 DFlash 推测器在每 GPU 吞吐 2.5M TPM 时达到每用户每秒 250 token,在同等吞吐下交互速度比模型内置的推测路径快 67%。

    推荐理由:Modal 为 Thinking Machines 的 975B 参数 Inkling 提供的首日端点表明,定制的 DFlash 推测器将交互速度比模型内置的推测路径提升了 67%。

已经到底了