跳到正文
  1. Hacker News · AI88

    Edge0 开源端侧模型 Edge0-145B 与 Edge0-120B 及推理框架

    Edge0 开源了 Edge0-145B 和 Edge0-120B,以及其统一推理框架和部署工具,并称 Edge0-145B 是首个开源的 145B 参数端侧模型。该公司报告称,在兼容笔记本上峰值内存为 29GB,预填充速度 1,100+ tokens/s,解码速度 80+ tokens/s,典型功耗约 120W,上下文长度为 128K–256K。它引用的内部得分为:DeepSWE 1.1 上 64.6,Terminal-Bench 2.1 上 86.52,GPQA-Diamond 上 90.4,IFBench 上 80.6,并表示权重已发布在 Hugging Face 上,首日即支持 macOS、Windows 和 Linux。

    推荐理由:Edge0 开源了一款 145B 端侧模型,报告峰值内存 29GB、解码速度 80+ tokens/s,为本地推理能扩展到何种程度提供了一个具体数据点。

  2. Hugging Face Blog69

    IBM 发布基于 Granite 4.1 3B 和 8B 构建的 LLMON 预览模型

    IBM 发布了两款实验性预览模型 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,它们基于 Granite 4.1 基础检查点衍生,经过训练能够读取和生成 LLMON——一种 LLM 原生标记语言,用保留的特殊 token 分隔符来标记指令、数据和需求。在 OPI 基准上,这些模型比测试中表现最好的前沿模型多规避了 47% 的间接提示注入攻击,比最好的开源模型多规避了 95%,同时在标准基准上的表现与 Granite 4.1 Instruct 相当。此次发布包含一个 GitHub 工具包,提供无损的 JSON 到 LLMON 转换器,作者指出该预览版仅供探索,不适用于生产环境。

    推荐理由:IBM 在 Granite 4.1 上训练出能读写 LLMON 标记的预览模型,通过显式的指令与数据分离,将 OPI 基准上的间接提示注入成功率压到接近零,同时保持通用能力。

  1. TechCrunch · AI78

    黄仁勋辞去英伟达CEO职务,引发外界对英伟达开源支持力度的疑虑

    英伟达CEO黄仁勋于周四辞职,此前他承认与一名疑似中国间谍有婚外情,这使得英伟达是否会继续支持开放权重AI成为未知数。黄仁勋曾推动Nemotron开放权重模型系列,支持Reflection AI和Thinking Machines Lab等初创公司,并组织了一封由25家公司签署的公开信,敦促华盛顿不要过度限制开放模型。英伟达已任命CFO Colette Kress为临时CEO,且尚未敲定以130亿美元收购Hugging Face的交易。

    推荐理由:Huang's resignation leaves open-weight AI advocacy without its most visible corporate backer, while Nvidia's pending Hugging Face deal and its own business incentives suggest the strategy may outlast him.

  1. Amazon Science62

    Amazon 发布 Mitra-v2 表格基础模型,采用规模化合成预训练

    Amazon 推出 Mitra-v2,这是用于分类和回归的第二代表格基础模型,随附微调模型以及推理和微调代码,以 Apache-2.0 许可证在 Hugging Face 上发布。它使用合成表格进行预训练,行数是 Mitra-v1 的 10 倍,列数约为其 3 倍,采用新的混合 SCM 先验和混合优化器,同时保持 Transformer 架构不变。在包含 51 个真实世界数据集的公开基准 TabArena 上,Mitra-v2 在单模型领域领先,在两者均原生运行的 33 个数据集中的 32 个上优于 Mitra-v1,并在 1 小时预算内完成全部 51 个数据集;微调后的 Mitra-v2 还在 ScoringBench 上排名第一。

    推荐理由:Mitra-v2 表明,扩大合成预训练数据而非加深网络,能将表格基础模型提升至 TabArena 单模型领域的首位。

  2. Hugging Face Blog60

    Hugging Face 解释决策模型及其在 Transformers 和 llama.cpp 中的支持

    Hugging Face 发布了一篇关于决策模型的说明文章,这类模型接收一个状态和带类型的问题,返回预定义答案上的概率,而不是生成文本。文章详细介绍了 choice、score 和 noul 原语、置信度公式,以及通过 Transformers 的 DecisionPipeline 和 AutoModelForDecision 提供的新支持、Transformers 和 llama.cpp 中共享的 /v1/systemone 端点、用于发现的 Hub 标签,以及使用 Trainer API 进行微调。文章指出,同一端点也可通过在一次批量前向传播中对答案 logits 打分,与兼容的自回归 LLM 配合使用。

    推荐理由:Hugging Face 解释了决策模型如何将分类转变为带类型的非生成式接口,并展示了如何用 Transformers 和 llama.cpp 来服务和微调它们。

  1. Modal Blog60

    Thinking Machines 的多模态模型 Inkling 现已在 Modal 上线

    Thinking Machines 发布了 Inkling,这是一个通用多模态模型,可接收文本、图像和音频输入并输出文本,Modal 从第一天起就以按 token 计费的托管端点形式提供该模型。Inkling 是一个混合专家 Transformer,总参数 975B,激活参数 41B,上下文窗口 1M token,原生支持音频和视觉,每五个滑动窗口注意力层对应一个全注意力层。在 8 块 B200 上的智能体工作负载中,Modal 定制的 DFlash 推测器在每 GPU 吞吐 2.5M TPM 时达到每用户每秒 250 token,在同等吞吐下交互速度比模型内置的推测路径快 67%。

    推荐理由:Modal 为 Thinking Machines 的 975B 参数 Inkling 提供的首日端点表明,定制的 DFlash 推测器将交互速度比模型内置的推测路径提升了 67%。

已经到底了