跳到正文
11月13日周五
  1. inclusionAI Models38

    SingVL-4B GGUF 发布:基于 Qwen3.5 的 Sing VL S1 4B 多模态决策模型推出 GGUF 版本

    Sing VL S1 是一个基于 Qwen3.5 构建的 4B 参数多模态决策模型,现已发布 GGUF 版本,可用于 llama.cpp 的 CPU 推理。它提供 BF16(8.42 GB)、Q8_0(4.48 GB)和 Q4_K_M(2.71 GB)三种解码器,外加一个共享的 F16 视觉投影器,默认上下文长度为 4096 token。GGUF 验证覆盖 9 个示例和 11 个问题;GGUF 各变体的完整公开评分仍待公布。

  2. AWS Machine Learning Blog36

    影响成本的四个 Amazon Bedrock 推理选择

    Amazon Bedrock 的缓存时长、服务层级、推理投入和 maxTokens 设置可以在不改变模型或提示词的情况下改变推理成本。在 Claude Sonnet 5 和 Claude Opus 5 上,5 分钟缓存写入的成本是输入费率的 1.25 倍,1 小时写入是 2 倍,缓存读取是 0.1 倍;向不支持的模型发送 Flex 层级请求会以 ValidationException 失败。

  3. Google DeepMind90

    Google DeepMind 发布 Gemini 4 Hydrogen,一款面向编程和智能体工作流的更快的 Gemini 4 模型

    Google DeepMind 推出了 Gemini 4 Hydrogen,这是一款 Gemini 4 模型,专为快速的日常编程和智能体执行而构建,而非 Gemini 4 Carbon 和 Argon 那种长程推理。在其默认的高思考级别下,它在 Artificial Analysis Intelligence Index 上得分为 51,而 Argon 为 50;在新的 xhigh 设置下达到 54;其定价在其 100 万 token 上下文窗口内统一为每百万输入 token 1.50 美元和每百万输出 token 7.50 美元。Google 还在 Google Antigravity 中推出了 Orchestrator,它可以在会话内在 Carbon 和 Hydrogen 等模型之间切换,并在 Terminal-Bench 4.0 上达到接近 Carbon 的任务成功率,同时使用的配额减少 24%,完成速度快 19%。

    推荐理由:Google 的 Gemini 4 Hydrogen 面向快速的日常编程和智能体工作,在 100 万上下文窗口内统一为每百万 token 1.50/7.50 美元的定价,并推出了可在 Gemini 4 模型之间切换的新 Orchestrator。

11月12日周四
  1. OpenRouter Announcements58

    OpenRouter 通过盈亏平衡负载计算比较自托管 LLM 与 API 成本

    OpenRouter 发布了一项盈亏平衡分析,展示了在什么情况下自托管开放权重 LLM 的成本低于通过 API 调用,分析采用截至 2026 年 10 月 8 日的各提供商价格。按这些价格,在一台每小时 0.50 美元租用的 RTX 3090 上运行 Qwen3.8 27B,在 6% 至 12% 负载时达到盈亏平衡;而在四块 H200 上运行 DeepSeek V4.1 Flash,则始终无法胜过最便宜的零数据保留端点。文章还指出,provider.zdr 以及欧盟和美国域名已能满足大多数隐私需求,无需自托管,并建议在本地运行稳定的基础负载,同时将峰值发送到 API。

  2. vLLM Blog60

    vLLM 为 Thinking Machines 的 Inkling 2 Small 提供 day-0 支持

    vLLM 在 day 0 支持 Thinking Machines 的 Inkling 2 Small,这是一个多模态文本与视觉 MoE,总参数 594B、激活参数 17B,上下文最高可达 1M token。该集成加入了带 PDL 的内核融合、用于 prefill 的序列并行(在 TP4 下将 8K token 的 prefill 步骤缩短 22%,TP8 下缩短 26%),以及一个 Gluon 相对注意力解码内核,将 100K 上下文下 batch-1 的解码步骤从 15.1 ms 降至 4.8 ms。vLLM 报告在 GB200 上 TP4 时每用户最高 630 TPS,接受长度为 3.5,并且还通过 SkyRL 支持 LoRA 和 RL。

    推荐理由:vLLM 在发布当天即支持 Inkling 2 Small,并给出内核融合、序列并行和 Gluon 解码内核的具体优化数据,可供部署大 MoE 模型的团队参考。

  3. vLLM Blog72

    vLLM 在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash,吞吐量达 GB300 NVL72 的 58 倍

    vLLM 报告称,在单台 NVIDIA Vera Rubin NVL72 机架上服务 DeepSeek-V4.1-Flash,每 GPU 达到 170 万 tokens/s,每用户 387 tokens/s,是 GB300 NVL72 的 58 倍,峰值达 252 万 tokens/s,单用户达 1,810 tokens/s。性能提升来自为 Rubin 的分裂内存域和 FP4 张量核心重建的 kernel、专用的 TP8 解码路径,以及通过 NVLink 共享的机架级 KV 和 Engram 池。借助跨机架池化前缀和 Dynamo 工作负载感知路由,即使在高并发下前缀命中率也保持在 96.5-97%。

    推荐理由:vLLM 关于 DeepSeek-V4.1-Flash 的第三篇文章详细说明了 Rubin 专用 kernel 和机架级内存池化如何将吞吐量提升至 GB300 NVL72 的 58 倍,为大规模服务优化提供了具体参考。

  4. AWS Machine Learning Blog12

    AWS re:Invent 2026 AI/ML 专场:参会者指南

    AWS 将于 11 月 30 日至 12 月 4 日举办年度 re:Invent 大会,AI/ML 专场在超过 2,000 场学习会议中提供 140 多场独立会议。该指南将会议对应到 AWS AI 技术栈,涵盖 AI 芯片(AWS Trainium 和 NVIDIA GPU)、Amazon Bedrock 和 SageMaker AI 上的模型与推理,以及使用 Amazon Bedrock AgentCore 的智能体开发。会议从新手内容到技术深度解析进行组织,许多会议可点播观看。

  5. Google Blog · AI78

    Google 发布 Gemini Decisions API 和 Gemini Decision 1 模型,用于快速闭集决策

    Google 推出了 Gemini Decisions API,由新的 Gemini Decision 1 模型(gemini-decision-1)驱动,可通过 Google AI Studio 中的 Gemini API 使用。单次多模态输入最多 256K token,可在一次前向传递中对照最多 1,000 个是/否、多项选择和评分标准打分问题进行检查,返回概率和置信度分数,端到端延迟为 150-250 毫秒,每 100 万输入 token 收费 0.10 美元,不收取输出 token 费用。Google 表示,该模型在其基准测试套件中领先,校准误差最低,并且比使用 Interactions API 的 Gemini 3.5 Flash-Lite 便宜近 5 倍;内部用途包括 Gemini Notebook 中的模型路由、Stitch 中的线框图生成,以及 Search 中 MCP 工具的对抗性内容检查。

    推荐理由:Google 的新端点可在一次传递中以 150-250 毫秒对最多 1,000 个多模态是/否、选择和评分标准问题进行评分,为智能体路由和政策检查提供了比生成式调用更便宜的替代方案。

  6. Claude Blog78

    Anthropic 将 Claude Opus 5.5 设为 Pro、Max、Ultra 和 Team 套餐的默认模型

    Claude Opus 5.5 现已成为 Claude 在 Pro、Max、Ultra 和 Team 套餐中的默认模型,Anthropic 推荐将其作为研究、分析以及成品文档、演示文稿和电子表格的日常主力。Anthropic 表示,Opus 5.5 在中等努力程度下,在其编码和知识工作评估中达到或超过了高努力程度的 Opus 5;在一项内部合并分析测试中,它以 Opus 5 完成同一任务一半的成本,在 63 分钟内完成。该文章还列出了针对新模型的提示词调整建议,包括去掉“think hard”指令、从中等努力程度开始,以及附上图表而不是重新输入其数值。

    推荐理由:Anthropic 自己的指南解释了为什么 Opus 5.5 现在是日常知识工作的默认选择,以及应为此放弃哪些提示习惯。

11月11日周三
  1. inclusionAI Models40

    inclusionAI 在 Qwen3.5 上发布 SingVL S1 4B 多模态决策模型

    inclusionAI 发布了 SingVL S1,这是一个基于 Qwen3.5 构建的 4B 多模态决策模型,可在单次 Transformers 前向传播中对文本或 JSON 以及最多四张图像回答指定问题。它支持选择、是/否(noul)和 2–10 级评分问题,在 Public Vision Index 上得分 73.94,在 Public Text Index 上得分 69.76。该模型附带 Python 推理代码和 FastAPI HTTP 服务器。

  2. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Carbon,面向智能体编程、网络安全与科学推理

    Google DeepMind 向开发者、企业、科学家和消费者开放了 Gemini 4 Carbon,将其定位在 Gemini 4 Argon 之上,适用于需要更深层推理和更多 token 的任务。Carbon 在 CursorBench 4.0、Perplexity 的 WANDR 和 Zapier 的 AutomationBench 上排名第一,每任务成本比次优外部模型低 2 倍以上,定价为每百万输入 token 2 美元、每百万输出 token 10 美元,与 Argon 的 introductory 价格相同。Google 还预览了 Google Antigravity 中的 /swarm,可将单个提示转化为协同工作的智能体团队,并报告 Carbon 在模拟网络攻击测试中拦截了 99% 的攻击轨迹。

    推荐理由:Google 的发布说明详细介绍了 Gemini 4 Carbon 如何以更高的 token 用量换取更深层推理,在 CursorBench 4.0、WANDR 和 AutomationBench 上排名第一,每任务成本不到次优外部模型的一半。

11月10日周二
  1. OpenAI Alignment Blog60

    OpenAI研究模型生命周期中影响CoT可监控性的因素

    OpenAI研究人员考察了预训练、架构、强化学习和模型生成数据如何影响思维链可监控性的两个代理指标:无CoT能力和CoT可控性。他们报告称,无CoT能力随基础模型困惑度降低而平滑变化;即使没有超出长度约束和最终答案评分的过程监督,CoT可控性在强化学习期间也会上升;并且可控性可以通过对教师模型rollout进行SFT传递给学生模型。作者提醒,这两个代理指标都不完美,且随着能力扩展,模型通过其CoT可能变得更难监控。

    推荐理由:OpenAI的生命周期研究将较低的预训练困惑度和RL扩展与较弱的CoT可监控性联系起来,为训练选择如何塑造监督风险提供了一个具体框架。

  2. Hugging Face Blog60

    Hugging Face 解释决策模型及其在 Transformers 和 llama.cpp 中的支持

    Hugging Face 发布了一篇关于决策模型的说明文章,这类模型接收一个状态和带类型的问题,返回预定义答案上的概率,而不是生成文本。文章详细介绍了 choice、score 和 noul 原语、置信度公式,以及通过 Transformers 的 DecisionPipeline 和 AutoModelForDecision 提供的新支持、Transformers 和 llama.cpp 中共享的 /v1/systemone 端点、用于发现的 Hub 标签,以及使用 Trainer API 进行微调。文章指出,同一端点也可通过在一次批量前向传播中对答案 logits 打分,与兼容的自回归 LLM 配合使用。

    推荐理由:Hugging Face 解释了决策模型如何将分类转变为带类型的非生成式接口,并展示了如何用 Transformers 和 llama.cpp 来服务和微调它们。

  3. Apple Machine Learning Research34

    用于高效长上下文检索的加权状态汤

    Apple 研究人员与哈佛合作者提出加权状态汤(weighted state souping),该方法学习依赖查询的权重,用于重新组合缓存的 SSM 状态编码,从而提升单跳和多跳文档问答、大海捞针检索、变量跟踪和工具使用等长上下文任务的表现。一种稀疏变体在上下文长度方面实现了近乎恒定的编码成本,同时保持或有时提升性能。该论文已被 NeurIPS 2026 的 PALM 研讨会接收。

  4. Apple Machine Learning Research38

    苹果研究:门控机制解释了为何SSM会记忆而非进行上下文学习

    一项由苹果和哈佛开展的研究表明,状态空间模型(SSM)中的门控机制会使其首先学到一个权重内的“记忆”解,从而延迟甚至阻止其收敛到正确的上下文学习。即使架构和记忆容量并未施加根本性限制,这种情况依然会发生。不过,门控通常能改善对长序列长度的泛化能力。

  5. Goodfire Research62

    Goodfire 研究 Qwen3.6-35B-A3B 神经元,视其为可解释的基础

    Goodfire Research 发表研究,认为 Qwen3.6-35B-A3B 中的单个 MLP 神经元比通常假设的更可解释,依据是稀疏化、归因工具和研究智能体。每次前向传播中消融最弱的 92.2% MoE 神经元激活,语言模型损失仅上升 2.9%;69% 的神经元极点有一个单一模式贡献了至少 90% 的因果效应。自然语言神经元描述让评判模型在随机文本上以 95% 准确率预测激活,并通过模拟恢复 73% 的消融损伤。

    推荐理由:Goodfire 对 Qwen3.6-35B-A3B 神经元的研究认为,仅强激活就承载了模型的大部分计算,为特征字典可解释性提供了具体替代方案。

11月9日周一
  1. Hugging Face Blog40

    HOPE:混合专家语言模型中专家的高阶剪枝

    研究人员提出 HOPE,一种针对混合专家语言模型的二阶专家剪枝方法,该方法考虑共同激活专家之间的成对交互,而非独立地对每个专家评分。在 50% 剪枝率下,HOPE 取得了所有方法中最佳的平均排名,在智能体编程任务上相比次优剪枝方法最高提升 +6.1%。该工作针对 Qwen3.5-122B 等模型的内存瓶颈,其中专家 MLP 占据了约 250 GB 占用空间的 95%。

  2. Preferred Networks News55

    Preferred Networks 以开放权重形式发布金融专用小语言模型 PLaMo 3.0 Fin

    Preferred Networks 发布了 PLaMo 3.0 Fin,这是一款金融专用小语言模型,基于与 NICT 联合研究中使用的 PLaMo 3 NICT 预训练模型构建,并在日本金融数据上进一步训练,以 PLaMo Community License 在 Hugging Face 上发布开放权重。该模型新增了逐步推理(Reasoning)能力,推理轨迹以日语输出,并支持用于网络搜索、计算和内部数据库访问的工具调用,可在封闭云或本地环境中于单块 GPU 上运行。PFN 表示,针对推理和工具使用的指令遵循训练是在其自研 MN-Core 2 AI 芯片上完成的,代码移植在一周内完成,训练速度与 GPU 环境相当。

11月6日周五
  1. vLLM Blog77

    REINFORCE Zero:内核对齐使异步强化学习在策略滞后64时保持稳定,并扩展至DeepSeek-V4.1和Kimi K3.1

    NVIDIA Research与Inferact的REINFORCE Zero论文表明,对齐rollout与训练器内核后,未裁剪的token级重要性采样能够纠正剩余的权重滞后,在策略滞后64时稳定训练20,000次更新,并在内核对齐的情况下达到同步训练训练步吞吐量的2.40倍。使用标准内核时,整个运行过程中rollout到学习器的KL中位数上升83.33倍,在线AIME24 pass@1从34.27%降至13.96%,而序列门控虽能稳定训练,但在最后1,000次更新时拒绝了24.48%的序列。零失配设置现已覆盖DeepSeek-V4.1-Flash、发布当日的Kimi K3.1,以及AMD MI355X上的DeepSeek-V4-Flash和Kimi K3.1,代码位于Inferact/zero-mismatch-rl和NVIDIA-NeMo/labs-molt。

    推荐理由:NVIDIA Research与Inferact将异步强化学习的rollout-学习器差距拆分为权重滞后和内核失配,表明对齐内核可使未裁剪的重要性采样在策略滞后64时保持稳定训练。

11月5日周四
  1. Zyphra Research36

    ZYFA:在 AMD MI355X 上快速且准确的 FP8 注意力内核

    Zyphra Research 发布了 ZYFA,这是面向 AMD MI355X(CDNA4,gfx950)的 BF16 和 FP8 因果预填充注意力内核,支持头维度 128 以及 DeepSeek-V2 的 MLA 形状。在 16K token 下,使用 Mistral-7B、Qwen3-8B 和 DeepSeek-V2-Lite 的激活值,ZYFA 的 FP8 内核吞吐量达到 AITER 的 1.16–1.76 倍;在 32K token 下的高斯输入上,头维度 128 时达到 1.26–1.37 倍,MLA 形状下达到 1.99 倍。在头维度 128 时,FP8 误差比 AITER 低 62–78%。

  2. inclusionAI Repositories38

    ASpec:面向投机解码草稿模型的高吞吐量训练框架

    ASpec 是一个面向投机解码草稿模型的高吞吐量训练框架,基于 TorchSpec 代码库构建,具备优化的注意力机制、融合内核以及选择性 head/loss 计算。在 Qwen3-8B 4K 运行中,仅草稿模型训练在单 GPU 上达到 15,256.44 输入 tokens/s,为 TorchSpec 的 1.96 倍;而 8-GPU 在线稳态窗口达到 77,721.37 tokens/s,为 TorchSpec 的 2.28 倍。它支持 DSpark、DFlash、EAGLE3/4 和原生 MTP 草稿模型,并提供 Qwen3-8B 和 Ling tiny 快速入门。

  3. Goodfire Research58

    Goodfire Research 提出机制塑造,通过内部表征引导模型

    Goodfire Research 提出机制塑造(mechanistic shaping),这是一个在训练期间对模型内部概念方向施加惩罚的框架,使模型学会依赖或表达特定概念,而不仅仅是最大化任务奖励。在胸部 X 光实验中,一个 LLM 智能体使用稀疏自编码器特征找到了类似管道的捷径方向,而依赖塑造优于标准训练和平衡数据基线。

11月4日周三
  1. vLLM Blog73

    Buoyant 发布 Kinference,一个面向 vLLM 和 Kubernetes 的开源推理控制平面

    Buoyant 宣布推出 Kinference,这是一个采用 Apache v2 许可证的开源控制平面,可将兼容 OpenAI 和 Anthropic 的推理流量路由到 Kubernetes 上的 vLLM worker,并新增 token 速率限制、按租户的使用量与成本追踪、KV-cache 感知的负载均衡以及 YAML 推理策略。在该项目的公开基准测试中,与标准 Kubernetes service 负载均衡相比,Kinference 在某一工作负载上将首 token 延迟中位数降低了 95%,端到端延迟中位数降低了 45%;在容量测试中,共享前缀场景的有效吞吐量达到 7.4 倍,多轮对话场景约为 3.5 倍。策略可以将较简单的提示词路由到更便宜的模型,将突发溢出流量发送到 Bedrock 和 Databricks 等提供商,或将带有 PII 标记的请求保留在集群内;按租户的指标涵盖 token 速率、TTFT、ITL 以及缓存与未缓存的提示词 token。

    推荐理由:Buoyant 的 Kinference 在 vLLM 之上增加了 KV-cache 感知的负载均衡和 YAML 推理策略,基准测试声称其相比标准 Kubernetes service 路由在 TTFT 和有效吞吐量上有大幅提升。

11月3日周二
  1. Ai2 · Allen Institute for AI55

    Ai2 发布 StateBench,用于测试语言模型如何在长文档中追踪状态变化

    Ai2 推出了 StateBench,这是一个具有四个难度级别的长上下文状态追踪基准,涵盖从不可变赋值到自引用和交叉引用更新。在测试中,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 能够处理较简单的级别,但在最长的通用有限问题上降至 13% 或更低;而 275M 参数的 Gated DeltaNet 和从头训练的混合模型在前三个级别上几乎完美泛化,Transformer 则始终未能学会最难的级别。

  2. Apple Machine Learning Research32

    Attention to Mamba:跨架构蒸馏的配方

    Apple 研究人员提出了一种两阶段配方,用于将 Transformer 蒸馏为不含任何 Attention 模块的纯 Mamba 架构。该方法首先通过适配的核技巧将预训练的 Transformer 蒸馏为线性化 Attention 模型,然后再将其蒸馏为适配的 Mamba 模型。蒸馏得到的 Mamba 保留了 Pythia-1B 的大部分性能,困惑度为 14.01,而教师模型为 13.86,在依赖上下文回忆的任务上存在一定差距。

  3. Google Developers Blog58

    Google 对低成本分类器进行基准测试,以按任务成本路由 Gemini 模型

    Google 开展了一项 50 道题的自动评分编码智能体基准测试,检验轻量级分类器 TypeSafe 的 Jev 能否将每项任务路由到仍能正确作答的最便宜 Gemini 配置。一个冻结的正则表达式与提示长度启发式方法在 16 道开发题上得分 93.8%,但在 34 项留出任务上下降 23.2 个百分点至 70.6%,而 Jev 在整个测试集上达到 96.0%。最强的无路由方案——Gemini 3.8 Flash 低思考模式——解决了全部 50 项任务;一个 Jev 路由器先将任务发送给 Flash-Lite、再对标记的任务升级,同样解决了全部 50 项任务,同时降低了成本和响应时间;将 maxOutputTokens 上限设为 300 在简单任务上未节省任何成本,却导致 25 项困难任务中的 7 项失败。

11月2日周一
  1. Zyphra Research58

    Zyphra 推出 ZHA 分层注意力,一种具有次二次路由的稀疏方法

    Zyphra 推出了 Zyphra Hierarchical Attention(ZHA),一种稀疏注意力方法,它构建一棵由压缩 KV-cache 摘要组成的树,并让查询自上而下地通过该树进行路由,在合适的 top-p 阈值下实现次二次复杂度。现有的预训练模型可以通过一个简短的 KL 蒸馏阶段进行适配,仅需使用几十亿个 token;在 Qwen3.6-35B-A3B 上,ZHA 增加了 81,920 个可训练参数,约占基础模型的 0.00024%。在 256K token 的 RULER-13 上,宽树模型得分为 96.2%,而稠密注意力为 96.0%;深六层树在 LongBench v2 上得分为 63.4%,而稠密注意力为 58.0%,同时只关注约 1.1% 的 KV cache;一个 GPU roofline 模型预测,在 10M token 时相比稠密注意力可实现 32-35 倍加速。

  2. Anthropic Research70

    Anthropic 发布 FlashProve:一个用于可验证 LLM 推理的开源 zkSNARK 系统

    Anthropic 发布了 FlashProve,这是一个开源原型,使用 zkSNARK 证明某个响应来自一个已承诺的模型,而无需暴露其权重。在 Llama 4 Maverick(400B 参数 MoE,4 位权重)上,单张 H100 以约 110 tokens/秒的速度生成证明,每 1,024 token 请求的证明大小约 19 MB,约为 vLLM 完成相同工作所需 GPU 时间的 70-95 倍。该发布包含可执行的证明器和验证器代码、一个 C++ 快速验证器、一个 Lean 验证器(其完备性、可靠性和零知识性陈述经机器检查),以及一份技术报告,全部采用 Apache 2.0 许可。

    推荐理由:Anthropic 的 FlashProve 表明,基于 zkSNARK 的推理证明对于一个 400B 参数的 MoE 模型正变得实用,并提供了开放代码和经 Lean 检查的安全性声明。

11月1日周日
  1. Sakana AI Blog40

    Sakana AI研讨会:Jürgen Schmidhuber谈AI的过去与未来,日本进军语言模型、世界模型与物理AI

    Sakana AI于2026年10月26日在东京举办了“从世界模型到真实世界AI”研讨会,首席科学顾问Jürgen Schmidhuber发表了主题演讲,Sakana AI宣布将开发自己的预训练语言模型系列Sakana Sawara(暂定名)。首个小型模型Sawara Small(暂定名)若开发顺利,计划于2027年春季发布。超过400名参会者参加了此次活动,活动还包括Schmidhuber与CEO David Ha之间的对话。

10月30日周五
  1. Amazon Science38

    加速旅行应用中的LLM:Medusa与知识蒸馏

    将知识蒸馏与Medusa框架结合,使拥有11亿参数的TinyLlama学生模型在质量上匹配其700亿参数的Llama-3.1教师模型,同时运行速度快10至20倍,成本不到三分之一。在与Booking.com合作开发AI Trip Planner、Smart Filters和住宿描述生成时,该流程弥合了超过90%的质量差距,并通过Medusa头额外实现了2至3.6倍的加速。

10月29日周四
  1. Sakana AI Blog40

    Sakana AI 分析德州参议院竞选中美国中期选举的社交媒体叙事

    Sakana AI 将其叙事分析系统应用于 X 平台上约 71 万条针对德州参议院竞选中两位候选人及州政党组织帖子的反应,以统计误差范围估算支持与批评的比例。其 Sakana Marlin 产品将社交媒体观察与民调、竞选财务、预测市场和新闻进行交叉核对,发现候选人评价的转变比 Cook Political Report 等主要评级机构改变评估的时间早约两个月。

  2. inclusionAI Models34

    inclusionAI 发布 Ling-3.0-flash-Sante-fp8,一个 FP8 量化的医疗健康模型

    inclusionAI 发布了 Ling-3.0-flash-Sante-fp8,这是其医疗健康专用模型 Ling-3.0-flash-Sante 的 FP8 量化版本,保持 124B 总参数和每 token 5.1B 激活参数。它在医疗健康基准测试上的平均分为 73.9,与 BF16 检查点持平,同时降低了支持 FP8 的硬件的权重内存占用。该仅用于研究的模型支持 256K token 上下文,默认使用带工具调用的思考模式。

  3. Meta Engineering Blog40

    Meta Andromeda:Meta 下一代广告检索引擎每秒处理 10 亿条广告

    Meta 详细介绍了其个性化广告检索引擎 Andromeda 的下一代版本,该引擎在生产环境中每秒对超过 10 亿条广告进行评分——相比 2024 年的系统吞吐量提升 100 倍。新架构将受 LLM 启发的混合专家模型引入检索环节,以约 300 分之一的推理 FLOPs 接近排序级模型性能,在单块 NVIDIA GH200 GPU 上每秒可处理超过 100 亿条广告。自 2025 年以来,Andromeda 已在 Facebook 上带来 2.4% 的转化率提升。

10月28日周三
  1. inclusionAI Repositories28

    UBTree 项目主页:使用 Unigram 和 Bigram 模型进行并行树草稿的推测解码

    UBTree 项目主页介绍了 UBTree,这是一种使用 unigram 和 bigram 模型草拟并行 token 树的推测解码方法,详见 arXiv:2609.39972。演示视频在 Ling3 Tiny 和 Flash 上使用未修改的 HumanEval anti_shuffle 和 bf 提示,将 UBTree 与 AR、DFlash 和 DSpark 进行比较,四种方法产生的输出 token 完全相同。该站点是纯 HTML/CSS/JS,通过 GitHub Pages 提供服务,图表和表格数字存储在 static/js/data.js 中。

  2. Google Research58

    Google Research 的睡眠框架让 LLM 在不发生灾难性遗忘的情况下巩固新知识

    Google Research 提出了一种用于持续学习的睡眠框架,该框架交替进行主动交互与离线记忆巩固,让 LLM 将新事实吸收到扩展的混合专家参数中,而不是丢失先前的知识。该方法结合了参数扩展、基于策略的蒸馏与基于强化学习的模仿,以及一个生成并筛选合成训练样本的“做梦”阶段。作者报告称,在满语和 Kalamang 等未见语言的持续翻译中性能下降接近零,在 BABILong 上扩展到 1000 万 token 时接近完美,在基于 SQuAD 的事实融入中单任务达到 48.9%、CPT 达到 46.2%,在 AIME 24/25 和 HMMT 25 上分别达到 79.2%、69.0% 和 46.1%。

10月27日周二
  1. Apple Newsroom40

    Apple 发布搭载 M6 的新款 iMac

    Apple 宣布推出搭载 M6 芯片的新款 iMac,配备最高 12 核 CPU 和每个核心均含神经加速器的 GPU,以及双 16 核神经引擎,设备端 AI 速度最高可达 M4 的 5 倍。Apple 称其性能最高可达最受欢迎的 Intel 版 iMac 的 18 倍,在 LM Studio 中的 AI 提示处理速度最高可达 M1 的 12 倍。10 月 28 日开启预购,11 月 6 日(周五)起发售。

  2. Apple Newsroom42

    Apple 推出搭载 M6 的新款 14 英寸 MacBook Pro

    Apple 宣布推出搭载 M6 的新款 14 英寸 MacBook Pro,配备 12 核 CPU 和 12 核 GPU,图形性能比 M5 提升最高 30%,AI 工作负载速度提升最高 25%。该芯片新增双 16 核神经网络引擎和 GPU 神经网络加速器,用于端侧 AI,电池续航最长可达 24 小时,支持 Wi-Fi 7 和蓝牙 6。10 月 28 日开启预购,11 月 6 日(周五)起发售。

10月26日周一
  1. Apple Machine Learning Research34

    GHARP:基于大规模重建先验的实时高斯头部动画

    Apple 研究人员提出 GHARP,一种从少量输入图像加驱动表情信号实时驱动 3D 人头动画的方法,将任务拆分为离线身份阶段和轻量级运行时动画阶段。身体对齐网络消除了身体姿态与服装带来的歧义,GHARP 在 Ava-256 基准上达到最先进质量,同时在 A100 GPU 上运行速度最高提升 13 倍,高斯数量减少 8 倍。