跳到正文
  1. Hacker News · AI88

    Edge0 开源端侧模型 Edge0-145B 与 Edge0-120B 及推理框架

    Edge0 开源了 Edge0-145B 和 Edge0-120B,以及其统一推理框架和部署工具,并称 Edge0-145B 是首个开源的 145B 参数端侧模型。该公司报告称,在兼容笔记本上峰值内存为 29GB,预填充速度 1,100+ tokens/s,解码速度 80+ tokens/s,典型功耗约 120W,上下文长度为 128K–256K。它引用的内部得分为:DeepSWE 1.1 上 64.6,Terminal-Bench 2.1 上 86.52,GPQA-Diamond 上 90.4,IFBench 上 80.6,并表示权重已发布在 Hugging Face 上,首日即支持 macOS、Windows 和 Linux。

    推荐理由:Edge0 开源了一款 145B 端侧模型,报告峰值内存 29GB、解码速度 80+ tokens/s,为本地推理能扩展到何种程度提供了一个具体数据点。

  2. Hugging Face Blog69

    IBM 发布基于 Granite 4.1 3B 和 8B 构建的 LLMON 预览模型

    IBM 发布了两款实验性预览模型 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,它们基于 Granite 4.1 基础检查点衍生,经过训练能够读取和生成 LLMON——一种 LLM 原生标记语言,用保留的特殊 token 分隔符来标记指令、数据和需求。在 OPI 基准上,这些模型比测试中表现最好的前沿模型多规避了 47% 的间接提示注入攻击,比最好的开源模型多规避了 95%,同时在标准基准上的表现与 Granite 4.1 Instruct 相当。此次发布包含一个 GitHub 工具包,提供无损的 JSON 到 LLMON 转换器,作者指出该预览版仅供探索,不适用于生产环境。

    推荐理由:IBM 在 Granite 4.1 上训练出能读写 LLMON 标记的预览模型,通过显式的指令与数据分离,将 OPI 基准上的间接提示注入成功率压到接近零,同时保持通用能力。

  1. Amazon Science62

    Amazon 发布 Mitra-v2 表格基础模型,采用规模化合成预训练

    Amazon 推出 Mitra-v2,这是用于分类和回归的第二代表格基础模型,随附微调模型以及推理和微调代码,以 Apache-2.0 许可证在 Hugging Face 上发布。它使用合成表格进行预训练,行数是 Mitra-v1 的 10 倍,列数约为其 3 倍,采用新的混合 SCM 先验和混合优化器,同时保持 Transformer 架构不变。在包含 51 个真实世界数据集的公开基准 TabArena 上,Mitra-v2 在单模型领域领先,在两者均原生运行的 33 个数据集中的 32 个上优于 Mitra-v1,并在 1 小时预算内完成全部 51 个数据集;微调后的 Mitra-v2 还在 ScoringBench 上排名第一。

    推荐理由:Mitra-v2 表明,扩大合成预训练数据而非加深网络,能将表格基础模型提升至 TabArena 单模型领域的首位。

已经到底了