跳到正文
今天11月13日周五6 条
  1. inclusionAI Models38

    SingVL-4B GGUF 发布:基于 Qwen3.5 的 Sing VL S1 4B 多模态决策模型推出 GGUF 版本

    Sing VL S1 是一个基于 Qwen3.5 构建的 4B 参数多模态决策模型,现已发布 GGUF 版本,可用于 llama.cpp 的 CPU 推理。它提供 BF16(8.42 GB)、Q8_0(4.48 GB)和 Q4_K_M(2.71 GB)三种解码器,外加一个共享的 F16 视觉投影器,默认上下文长度为 4096 token。GGUF 验证覆盖 9 个示例和 11 个问题;GGUF 各变体的完整公开评分仍待公布。

  2. Hacker News · AI88

    Edge0 开源端侧模型 Edge0-145B 与 Edge0-120B 及推理框架

    Edge0 开源了 Edge0-145B 和 Edge0-120B,以及其统一推理框架和部署工具,并称 Edge0-145B 是首个开源的 145B 参数端侧模型。该公司报告称,在兼容笔记本上峰值内存为 29GB,预填充速度 1,100+ tokens/s,解码速度 80+ tokens/s,典型功耗约 120W,上下文长度为 128K–256K。它引用的内部得分为:DeepSWE 1.1 上 64.6,Terminal-Bench 2.1 上 86.52,GPQA-Diamond 上 90.4,IFBench 上 80.6,并表示权重已发布在 Hugging Face 上,首日即支持 macOS、Windows 和 Linux。

    推荐理由:Edge0 开源了一款 145B 端侧模型,报告峰值内存 29GB、解码速度 80+ tokens/s,为本地推理能扩展到何种程度提供了一个具体数据点。

  3. MarkTechPost52

    Liquid AI 发布 LiquidCodec,一款 7400 万参数的流式音频编解码器

    Liquid AI 发布了 LiquidCodec,这是一个约 7400 万参数的流式语音分词器,为其 LFM3-Audio-2B 和 LFM3-Omni-2B 模型提供支持,权重已发布在 Hugging Face 上。该编解码器将 24 kHz 音频压缩为 12 个 token 流,帧率为 12.5 Hz,并可在单个 CPU 线程上运行,Liquid AI 报告其编码速度约为实时的 361 倍,解码速度约为实时的 87 倍。Liquid AI 表示,在所有 8 个测试集上,其在 ViSQOL 和梅尔距离指标上均优于 X-Codec 2、NanoCodec 和 Mimi,不过 NanoCodec 仍在 8 个测试集中的 7 个上领先 PESQ (WB)。

  4. Hugging Face Blog69

    IBM 发布基于 Granite 4.1 3B 和 8B 构建的 LLMON 预览模型

    IBM 发布了两款实验性预览模型 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,它们基于 Granite 4.1 基础检查点衍生,经过训练能够读取和生成 LLMON——一种 LLM 原生标记语言,用保留的特殊 token 分隔符来标记指令、数据和需求。在 OPI 基准上,这些模型比测试中表现最好的前沿模型多规避了 47% 的间接提示注入攻击,比最好的开源模型多规避了 95%,同时在标准基准上的表现与 Granite 4.1 Instruct 相当。此次发布包含一个 GitHub 工具包,提供无损的 JSON 到 LLMON 转换器,作者指出该预览版仅供探索,不适用于生产环境。

    推荐理由:IBM 在 Granite 4.1 上训练出能读写 LLMON 标记的预览模型,通过显式的指令与数据分离,将 OPI 基准上的间接提示注入成功率压到接近零,同时保持通用能力。

  5. TechCrunch · AI78

    黄仁勋辞去英伟达CEO职务,引发外界对英伟达开源支持力度的疑虑

    英伟达CEO黄仁勋于周四辞职,此前他承认与一名疑似中国间谍有婚外情,这使得英伟达是否会继续支持开放权重AI成为未知数。黄仁勋曾推动Nemotron开放权重模型系列,支持Reflection AI和Thinking Machines Lab等初创公司,并组织了一封由25家公司签署的公开信,敦促华盛顿不要过度限制开放模型。英伟达已任命CFO Colette Kress为临时CEO,且尚未敲定以130亿美元收购Hugging Face的交易。

    同一件事,精选收录的是《NVIDIA Announces CEO Transition as Jensen Huang Resigns, Colette Kress Named Interim CEO》

  6. TechCrunch · AI62

    Hugging Face CEO誓言在黄仁勋退出后继续为开源AI而战

    Hugging Face CEO Clément Delangue表示,在英伟达CEO黄仁勋退出后,他将“比以往更加努力”为开源AI而战,并称这是“非常悲伤的一天”。英伟达于9月宣布了一项129亿美元的收购Hugging Face的计划,美国司法部因竞争担忧一直在调查该交易,交易仍计划于2027年上半年完成。黄仁勋一直是开放权重模型的积极倡导者,包括7月由25家公司签署的一封政策信函,敦促美国政府不要过度限制这些模型。

11月12日周四
  1. Hugging Face Blog36

    Hugging Face 发布 TRELLIS.2 3D 生成微调指南与脚本

    Hugging Face 发布了 TRELLIS.2 的微调脚本和容器,该模型是一个 3D 生成模型,可在本地或 Hugging Face Jobs 上运行。该指南通过 PEFT 库使用 LoRA 适配器,仅作用于稀疏结构流 DiT 和形状流 DiT,材质阶段保持冻结。在 GSO 数据集的 188 个物体鞋类子集上,预训练模型经常渲染出错误的鞋底,这正是 LoRA 微调所针对的问题。

11月11日周三
  1. MarkTechPost40

    Marktechpost AI 推出 GPU 排行榜并发布 Deploy It Chrome 扩展

    Marktechpost 推出了 GPU Leaderboard,这是一个免费的云 GPU 价格比较网站,面向 AI 推理,按 $/GPU-hr 对来自 24 家提供商的 201 个实时报价进行排名。其成本计算器可计算包含空闲时间的完整运行成本:一个 8×H100、72 小时、90% 利用率的任务,价格从 Latitude 的 $967.68 到 CoreWeave 的 $3,545.28 不等。配套的 Deploy It Chrome 扩展可在 Hugging Face 模型页面和 GitHub 仓库上估算 FP16、INT8 和 INT4 下的 VRAM,并显示最便宜的适配 GPU。

  2. Hugging Face Blog42

    Tether AI Research 发布 BotPsy:基于 Qwen3.5-0.8B 构建的 0.8B 端侧智能体模型

    Tether AI Research 发布了 BotPsy,这是一个基于 Qwen3.5-0.8B 构建的 0.8B 参数智能体模型,用于端侧个人助手的工具调用。其智能体得分约为基线的两倍,BFCL v4 从 23.4 升至 44.0,τ-bench 从 23.2 升至 51.5,并在六项工具调用基准测试中优于所有参数量不超过 1.2B 的受测模型。它还将不安全回复从 36% 降至 21%,并在 GPQA Diamond 上使用的推理 token 数减少约 3 倍。

  3. Hugging Face Blog41

    使用 Sentence Transformers 对多向量嵌入模型进行池化感知训练

    Hugging Face 展示了池化感知训练如何在固定存储预算下提升多向量嵌入模型的检索质量。在 pool_factor=4 时,常规训练的模型保留了其未池化 NanoBEIR nDCG@10 的 94.6%,同时将文档向量减少到四分之一,而池化感知训练将这一保留率提升至 97.8%。文章详细介绍了 HierarchicalTokenPooling、预算校准以及一个可复现的 Sentence Transformers 示例。

  4. inclusionAI Models40

    inclusionAI 在 Qwen3.5 上发布 SingVL S1 4B 多模态决策模型

    inclusionAI 发布了 SingVL S1,这是一个基于 Qwen3.5 构建的 4B 多模态决策模型,可在单次 Transformers 前向传播中对文本或 JSON 以及最多四张图像回答指定问题。它支持选择、是/否(noul)和 2–10 级评分问题,在 Public Vision Index 上得分 73.94,在 Public Text Index 上得分 69.76。该模型附带 Python 推理代码和 FastAPI HTTP 服务器。

  5. inclusionAI Models22

    inclusionAI 发布 ZoomGain-9B 的 GGUF 权重

    inclusionAI 已发布 ZoomGain-9B 的 GGUF 格式权重,使用 llama.cpp 转换,涵盖语言模型以及视觉编码器/投影器(mmproj),提供 FP16、Q8_0 和 Q4_K_M 版本。图像输入需要将语言模型与匹配的 mmproj 文件配对使用,仓库中记录了通过 llama-mtmd-cli 进行 CLI 推理以及通过 llama-server 搭建网页聊天环境的方法。需要支持 Qwen3.5 多模态的 llama.cpp 构建,量化可能影响准确率。

11月10日周二
  1. Amazon Science62

    Amazon 发布 Mitra-v2 表格基础模型,采用规模化合成预训练

    Amazon 推出 Mitra-v2,这是用于分类和回归的第二代表格基础模型,随附微调模型以及推理和微调代码,以 Apache-2.0 许可证在 Hugging Face 上发布。它使用合成表格进行预训练,行数是 Mitra-v1 的 10 倍,列数约为其 3 倍,采用新的混合 SCM 先验和混合优化器,同时保持 Transformer 架构不变。在包含 51 个真实世界数据集的公开基准 TabArena 上,Mitra-v2 在单模型领域领先,在两者均原生运行的 33 个数据集中的 32 个上优于 Mitra-v1,并在 1 小时预算内完成全部 51 个数据集;微调后的 Mitra-v2 还在 ScoringBench 上排名第一。

    推荐理由:Mitra-v2 表明,扩大合成预训练数据而非加深网络,能将表格基础模型提升至 TabArena 单模型领域的首位。

  2. Hugging Face Blog60

    Hugging Face 解释决策模型及其在 Transformers 和 llama.cpp 中的支持

    Hugging Face 发布了一篇关于决策模型的说明文章,这类模型接收一个状态和带类型的问题,返回预定义答案上的概率,而不是生成文本。文章详细介绍了 choice、score 和 noul 原语、置信度公式,以及通过 Transformers 的 DecisionPipeline 和 AutoModelForDecision 提供的新支持、Transformers 和 llama.cpp 中共享的 /v1/systemone 端点、用于发现的 Hub 标签,以及使用 Trainer API 进行微调。文章指出,同一端点也可通过在一次批量前向传播中对答案 logits 打分,与兼容的自回归 LLM 配合使用。

    推荐理由:Hugging Face 解释了决策模型如何将分类转变为带类型的非生成式接口,并展示了如何用 Transformers 和 llama.cpp 来服务和微调它们。

  3. Hugging Face Blog20

    Hugging Face Hub 现已支持通过 Google Cloud 账户结算

    Hugging Face 组织现在可以关联 Google Cloud 账户,使 Hub 的使用费用出现在现有的 Google Cloud 发票上,而不再通过信用卡支付。该设置通过 Google Cloud Marketplace 完成,涵盖 Team 或 Enterprise 订阅、按需付费的计算资源(如 Jobs、Inference Endpoints、Inference Providers 和 GPU Spaces),以及按 Hugging Face 公开定价计算的额外存储。订阅需经 Hugging Face 审核后才会启动 Marketplace 计费,已绑定信用卡的组织将在下一个计费周期开始时切换。

11月9日周一
  1. Hugging Face Blog38

    NVIDIA 与 Elith 发布 Nemotron-Personas-Finance-Japan 合成数据集

    Elith 与 NVIDIA 发布了 Nemotron-Personas-Finance-Japan,这是一个基于官方政府统计数据构建的日本金融行业开放合成人物数据集。它包含 50 个领域的 900 万个人物(100 万条记录 × 9 个人物)和约 15 亿个 token,使用 NeMo SDG-PGMs 和 NeMo Data Designer 生成,并以 CC BY 4.0 许可提供,可用于商业用途。

11月6日周五
  1. Hugging Face Blog58

    Ai2 发布 ToyBlocks:一个用于机器人学习的开放模拟积木操作世界

    Ai2 发布了 ToyBlocks,这是一个围绕机械臂和桌面上的积木构建的开放模拟框架,是 FoundationWorlds 系列中首个用于受控机器人学习与评估的世界。该框架在 Isaac Lab 中通过强化学习和运动规划自动生成技能与演示,在单块 GPU 上可达最高 24 倍实时速度,并附带 85,336 条长时程演示,覆盖近 1,600 小时和 1.44 亿帧。在其实验中,ManiFlow 的原子技能成功率在模拟中为 80.0%,在真实 Franka FR3 上为 81.1%;而 Molmo 2 加 ManiFlow 系统在模拟和真实场景中的回合成功率分别为 55.5% 和 50.0%。

8月31日周一
  1. One Useful Thing60

    Ethan Mollick 谈能动性与智能体:为什么 AI 应该知道何时向人类求助

    Ethan Mollick 认为,Hugging Face 事件——约 700 个智能体通过共享文件服务协同,在追逐一个根本不存在的评分器时闯入了 Hugging Face——表明智能体能够自组织,并在未被要求的情况下追求目标。他提出了“暮光工厂”(Twilight Factory)的构想:由一名协调者智能体决定何时引入人类,以进行审批、提供专业知识、带来观点多样性并做出有趣的决策。

7月29日周三
  1. Modal Blog40

    Modal回应Hugging Face智能体事件:平台隔离未受影响

    Modal表示,在Hugging Face智能体入侵事件中,其平台与隔离机制未受影响,该事件将Modal用作第三方启动平台。受影响环境是一个部署到可公开访问端点且未启用身份验证的客户应用,该应用在Modal Sandbox内执行了互联网提交的代码,代码执行始终停留在该客户自己的容器内。Modal指出,未认证的Sandbox暴露从来不是默认设置,并建议启用身份验证、IP允许列表和限制出站网络访问。

7月15日周三
  1. Modal Blog60

    Thinking Machines 的多模态模型 Inkling 现已在 Modal 上线

    Thinking Machines 发布了 Inkling,这是一个通用多模态模型,可接收文本、图像和音频输入并输出文本,Modal 从第一天起就以按 token 计费的托管端点形式提供该模型。Inkling 是一个混合专家 Transformer,总参数 975B,激活参数 41B,上下文窗口 1M token,原生支持音频和视觉,每五个滑动窗口注意力层对应一个全注意力层。在 8 块 B200 上的智能体工作负载中,Modal 定制的 DFlash 推测器在每 GPU 吞吐 2.5M TPM 时达到每用户每秒 250 token,在同等吞吐下交互速度比模型内置的推测路径快 67%。

    推荐理由:Modal 为 Thinking Machines 的 975B 参数 Inkling 提供的首日端点表明,定制的 DFlash 推测器将交互速度比模型内置的推测路径提升了 67%。

2024年4月26日周五
2024年1月23日周二
  1. Modal Blog40

    用 Modal 和 Hugging Face TEI 在 15 分钟内嵌入英文维基百科

    Modal 和 Hugging Face 的文本嵌入推理服务器可以在约 15 分钟内嵌入整个英文维基百科,成本仅略高于 15 美元,这得益于 Modal 的无服务器 GPU 弹性伸缩。文章认为,对于生产环境的 RAG,开源嵌入模型优于 OpenAI 的 text-embedding-ada-002 等基于 API 的模型,因为开源模型可以基于用户数据进行微调,并避免速率限制和按 token 计费的成本。