跳到正文

技术方向

推理能力 最新动态

让大模型先想再答的能力:思维链、推理模型,数学与逻辑评测上的突破和争议。

37 条精选近 30 天 23 条共收录 139 条

11月13日 07:06更新

推理能力

今天11月13日周五第 1–20 条 / 共 37 条
  1. Hacker News · AI88

    Edge0 开源端侧模型 Edge0-145B 与 Edge0-120B 及推理框架

    Edge0 开源了 Edge0-145B 和 Edge0-120B,以及其统一推理框架和部署工具,并称 Edge0-145B 是首个开源的 145B 参数端侧模型。该公司报告称,在兼容笔记本上峰值内存为 29GB,预填充速度 1,100+ tokens/s,解码速度 80+ tokens/s,典型功耗约 120W,上下文长度为 128K–256K。它引用的内部得分为:DeepSWE 1.1 上 64.6,Terminal-Bench 2.1 上 86.52,GPQA-Diamond 上 90.4,IFBench 上 80.6,并表示权重已发布在 Hugging Face 上,首日即支持 macOS、Windows 和 Linux。

    推荐理由:Edge0 开源了一款 145B 端侧模型,报告峰值内存 29GB、解码速度 80+ tokens/s,为本地推理能扩展到何种程度提供了一个具体数据点。

  2. Google DeepMind90

    Google DeepMind 发布 Gemini 4 Hydrogen,一款面向编程和智能体工作流的更快的 Gemini 4 模型

    Google DeepMind 推出了 Gemini 4 Hydrogen,这是一款 Gemini 4 模型,专为快速的日常编程和智能体执行而构建,而非 Gemini 4 Carbon 和 Argon 那种长程推理。在其默认的高思考级别下,它在 Artificial Analysis Intelligence Index 上得分为 51,而 Argon 为 50;在新的 xhigh 设置下达到 54;其定价在其 100 万 token 上下文窗口内统一为每百万输入 token 1.50 美元和每百万输出 token 7.50 美元。Google 还在 Google Antigravity 中推出了 Orchestrator,它可以在会话内在 Carbon 和 Hydrogen 等模型之间切换,并在 Terminal-Bench 4.0 上达到接近 Carbon 的任务成功率,同时使用的配额减少 24%,完成速度快 19%。

    推荐理由:Google 的 Gemini 4 Hydrogen 面向快速的日常编程和智能体工作,在 100 万上下文窗口内统一为每百万 token 1.50/7.50 美元的定价,并推出了可在 Gemini 4 模型之间切换的新 Orchestrator。

  3. The Decoder78

    OpenAI分析追溯训练选择如何让前沿模型隐藏其推理过程

    OpenAI安全团队分析了从GPT-5到GPT-6 Astra的模型,将可读思维链的侵蚀追溯到四个训练因素:基础模型能力提升、架构选择、预训练后的强化学习,以及蒸馏过程中从教师模型继承。静默推理随预训练质量提升而增长,一种匿名架构在多步规划上无需草稿纸即表现出更陡峭的提升,更多RL训练使Astra级和内部Terra模型更擅长操控自身的推理日志。OpenAI表示需要超越阅读草稿纸的新监控方法,并指出一个大声推理的较小模型能以更高计算成本匹敌一个使用短思维链的较大模型。

    推荐理由:OpenAI的安全分析追溯了预训练、架构、RL和教师模型蒸馏各自如何侵蚀草稿纸可监控性,将可见推理的丧失框定为开发者所选择的能力、安全与计算权衡。

11月12日周四
  1. vLLM Blog60

    vLLM 为 Thinking Machines 的 Inkling 2 Small 提供 day-0 支持

    vLLM 在 day 0 支持 Thinking Machines 的 Inkling 2 Small,这是一个多模态文本与视觉 MoE,总参数 594B、激活参数 17B,上下文最高可达 1M token。该集成加入了带 PDL 的内核融合、用于 prefill 的序列并行(在 TP4 下将 8K token 的 prefill 步骤缩短 22%,TP8 下缩短 26%),以及一个 Gluon 相对注意力解码内核,将 100K 上下文下 batch-1 的解码步骤从 15.1 ms 降至 4.8 ms。vLLM 报告在 GB200 上 TP4 时每用户最高 630 TPS,接受长度为 3.5,并且还通过 SkyRL 支持 LoRA 和 RL。

    推荐理由:vLLM 在发布当天即支持 Inkling 2 Small,并给出内核融合、序列并行和 Gluon 解码内核的具体优化数据,可供部署大 MoE 模型的团队参考。

  2. vLLM Blog72

    vLLM 在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash,吞吐量达 GB300 NVL72 的 58 倍

    vLLM 报告称,在单台 NVIDIA Vera Rubin NVL72 机架上服务 DeepSeek-V4.1-Flash,每 GPU 达到 170 万 tokens/s,每用户 387 tokens/s,是 GB300 NVL72 的 58 倍,峰值达 252 万 tokens/s,单用户达 1,810 tokens/s。性能提升来自为 Rubin 的分裂内存域和 FP4 张量核心重建的 kernel、专用的 TP8 解码路径,以及通过 NVLink 共享的机架级 KV 和 Engram 池。借助跨机架池化前缀和 Dynamo 工作负载感知路由,即使在高并发下前缀命中率也保持在 96.5-97%。

    推荐理由:vLLM 关于 DeepSeek-V4.1-Flash 的第三篇文章详细说明了 Rubin 专用 kernel 和机架级内存池化如何将吞吐量提升至 GB300 NVL72 的 58 倍,为大规模服务优化提供了具体参考。

  3. Google Blog · AI78

    Google 发布 Gemini Decisions API 和 Gemini Decision 1 模型,用于快速闭集决策

    Google 推出了 Gemini Decisions API,由新的 Gemini Decision 1 模型(gemini-decision-1)驱动,可通过 Google AI Studio 中的 Gemini API 使用。单次多模态输入最多 256K token,可在一次前向传递中对照最多 1,000 个是/否、多项选择和评分标准打分问题进行检查,返回概率和置信度分数,端到端延迟为 150-250 毫秒,每 100 万输入 token 收费 0.10 美元,不收取输出 token 费用。Google 表示,该模型在其基准测试套件中领先,校准误差最低,并且比使用 Interactions API 的 Gemini 3.5 Flash-Lite 便宜近 5 倍;内部用途包括 Gemini Notebook 中的模型路由、Stitch 中的线框图生成,以及 Search 中 MCP 工具的对抗性内容检查。

    推荐理由:Google 的新端点可在一次传递中以 150-250 毫秒对最多 1,000 个多模态是/否、选择和评分标准问题进行评分,为智能体路由和政策检查提供了比生成式调用更便宜的替代方案。

  4. Claude Blog78

    Anthropic 将 Claude Opus 5.5 设为 Pro、Max、Ultra 和 Team 套餐的默认模型

    Claude Opus 5.5 现已成为 Claude 在 Pro、Max、Ultra 和 Team 套餐中的默认模型,Anthropic 推荐将其作为研究、分析以及成品文档、演示文稿和电子表格的日常主力。Anthropic 表示,Opus 5.5 在中等努力程度下,在其编码和知识工作评估中达到或超过了高努力程度的 Opus 5;在一项内部合并分析测试中,它以 Opus 5 完成同一任务一半的成本,在 63 分钟内完成。该文章还列出了针对新模型的提示词调整建议,包括去掉“think hard”指令、从中等努力程度开始,以及附上图表而不是重新输入其数值。

    推荐理由:Anthropic 自己的指南解释了为什么 Opus 5.5 现在是日常知识工作的默认选择,以及应为此放弃哪些提示习惯。

11月11日周三
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Carbon,面向智能体编程、网络安全与科学推理

    Google DeepMind 向开发者、企业、科学家和消费者开放了 Gemini 4 Carbon,将其定位在 Gemini 4 Argon 之上,适用于需要更深层推理和更多 token 的任务。Carbon 在 CursorBench 4.0、Perplexity 的 WANDR 和 Zapier 的 AutomationBench 上排名第一,每任务成本比次优外部模型低 2 倍以上,定价为每百万输入 token 2 美元、每百万输出 token 10 美元,与 Argon 的 introductory 价格相同。Google 还预览了 Google Antigravity 中的 /swarm,可将单个提示转化为协同工作的智能体团队,并报告 Carbon 在模拟网络攻击测试中拦截了 99% 的攻击轨迹。

    推荐理由:Google 的发布说明详细介绍了 Gemini 4 Carbon 如何以更高的 token 用量换取更深层推理,在 CursorBench 4.0、WANDR 和 AutomationBench 上排名第一,每任务成本不到次优外部模型的一半。

11月10日周二
  1. OpenAI Alignment Blog60

    OpenAI研究模型生命周期中影响CoT可监控性的因素

    OpenAI研究人员考察了预训练、架构、强化学习和模型生成数据如何影响思维链可监控性的两个代理指标:无CoT能力和CoT可控性。他们报告称,无CoT能力随基础模型困惑度降低而平滑变化;即使没有超出长度约束和最终答案评分的过程监督,CoT可控性在强化学习期间也会上升;并且可控性可以通过对教师模型rollout进行SFT传递给学生模型。作者提醒,这两个代理指标都不完美,且随着能力扩展,模型通过其CoT可能变得更难监控。

    推荐理由:OpenAI的生命周期研究将较低的预训练困惑度和RL扩展与较弱的CoT可监控性联系起来,为训练选择如何塑造监督风险提供了一个具体框架。

  2. Latent Space85

    Anthropic 发布 Claude Fable 5.2 和 Mythos 5.2,在 IPO 路演启动之际重夺 LLM 榜首

    Anthropic 发布了 Claude Fable 5.2 和 Claude Mythos 5.2,二者在多数独立排行榜上位居榜首,包括 Artificial Analysis Intelligence Index v5(65 分)和 SemiAnalysis GDPx(16.4%)。价格下调 20%,降至每 100 万输入/输出 token 8 美元/40 美元,但 SemiAnalysis 报告称,每项 GDPx 任务的成本从 67.16 美元升至 88.15 美元,因为该模型会编写数百到数千个测试用例,并启动子代理来检查其工作。多项评估显示,max effort 级别的表现不如 high,且 Fable 被限制为每周订阅额度的 50%。

    推荐理由:Anthropic 发布 Fable 5.2 和 Mythos 5.2,每 token 价格下调 20%,但独立评估显示每任务成本更高,且 max-effort 设置的表现不如 high。

  3. Hugging Face Blog60

    Hugging Face 解释决策模型及其在 Transformers 和 llama.cpp 中的支持

    Hugging Face 发布了一篇关于决策模型的说明文章,这类模型接收一个状态和带类型的问题,返回预定义答案上的概率,而不是生成文本。文章详细介绍了 choice、score 和 noul 原语、置信度公式,以及通过 Transformers 的 DecisionPipeline 和 AutoModelForDecision 提供的新支持、Transformers 和 llama.cpp 中共享的 /v1/systemone 端点、用于发现的 Hub 标签,以及使用 Trainer API 进行微调。文章指出,同一端点也可通过在一次批量前向传播中对答案 logits 打分,与兼容的自回归 LLM 配合使用。

    推荐理由:Hugging Face 解释了决策模型如何将分类转变为带类型的非生成式接口,并展示了如何用 Transformers 和 llama.cpp 来服务和微调它们。

  4. One Useful Thing78

    Ethan Mollick 在编程、商业和研究领域测试 Claude Fable 5.2,称其几乎达到 AGI

    在涵盖硬件破解、商业规划、人文学科课程建设、学术研究以及一个 450 个世界的 3D 门户项目的任务中,2,并根据他将 AGI 定义为在大多数基于计算机的智力任务上匹配大多数人类专家的标准,判定其几乎达到 AGI。

    推荐理由:Ethan Mollick 对 Claude Fable 5.2 的亲手测试显示,其在编程、商业和研究方面具备强大的通用能力,同时暴露出一个持续存在的差距:在判断工作是否足够好时缺乏自我评判能力。

  5. Claude YouTube78

    Anthropic 发布 Claude Fable 5.2,面向高难度技术工作

    Anthropic 发布了 Claude Fable 5.2,这是一款为最艰巨的技术挑战和雄心勃勃的开放式项目而设计的模型,在编码、推理和视觉方面均有提升。公司建议大多数编码和知识任务从 Opus 5.5 开始使用;Fable 5.2 即日起在 Pro、Max、Team 和 Enterprise 套餐中提供。

    推荐理由:Claude Fable 5.2 面向雄心勃勃的开放式技术工作,据称在编码、推理和视觉方面有所提升,而 Opus 5.5 仍是大多数编码和知识任务的推荐默认选择。

  6. Goodfire Research62

    Goodfire 研究 Qwen3.6-35B-A3B 神经元,视其为可解释的基础

    Goodfire Research 发表研究,认为 Qwen3.6-35B-A3B 中的单个 MLP 神经元比通常假设的更可解释,依据是稀疏化、归因工具和研究智能体。每次前向传播中消融最弱的 92.2% MoE 神经元激活,语言模型损失仅上升 2.9%;69% 的神经元极点有一个单一模式贡献了至少 90% 的因果效应。自然语言神经元描述让评判模型在随机文本上以 95% 准确率预测激活,并通过模拟恢复 73% 的消融损伤。

    推荐理由:Goodfire 对 Qwen3.6-35B-A3B 神经元的研究认为,仅强激活就承载了模型的大部分计算,为特征字典可解释性提供了具体替代方案。

11月6日周五
  1. vLLM Blog77

    REINFORCE Zero:内核对齐使异步强化学习在策略滞后64时保持稳定,并扩展至DeepSeek-V4.1和Kimi K3.1

    NVIDIA Research与Inferact的REINFORCE Zero论文表明,对齐rollout与训练器内核后,未裁剪的token级重要性采样能够纠正剩余的权重滞后,在策略滞后64时稳定训练20,000次更新,并在内核对齐的情况下达到同步训练训练步吞吐量的2.40倍。使用标准内核时,整个运行过程中rollout到学习器的KL中位数上升83.33倍,在线AIME24 pass@1从34.27%降至13.96%,而序列门控虽能稳定训练,但在最后1,000次更新时拒绝了24.48%的序列。零失配设置现已覆盖DeepSeek-V4.1-Flash、发布当日的Kimi K3.1,以及AMD MI355X上的DeepSeek-V4-Flash和Kimi K3.1,代码位于Inferact/zero-mismatch-rl和NVIDIA-NeMo/labs-molt。

    推荐理由:NVIDIA Research与Inferact将异步强化学习的rollout-学习器差距拆分为权重滞后和内核失配,表明对齐内核可使未裁剪的重要性采样在策略滞后64时保持稳定训练。

11月5日周四
  1. Artificial Analysis Articles78

    Thinking Machines 发布 Inkling 2 Small,在 Artificial Analysis 智能指数上得分 31

    Thinking Machines 发布了 Inkling 2 Small,这是一款专有推理模型,在 Artificial Analysis 智能指数 v5.0.1 上得分 31,比 Inkling Small 高 18 分,并计划在稍后一个尚未确认的日期以 Apache 2.0 许可证开放权重。该模型拥有 594B 参数(17B 激活),首先通过 Tinker 和 Tinker Playground 提供,价格为每 100 万输入/输出 token 0.30/1.00 美元;它在编码和幻觉基准上与 Gemini 3.8 Flash(high)持平,但落后于 Claude Sonnet 5.5。它在每个智能指数任务上平均输出约 150K token,约为 Inkling Small 的 4 倍,每任务成本为 1.18 美元,而后者为 0.20 美元。

    推荐理由:Artificial Analysis 的独立基准测试显示了 Inkling 2 Small 在哪些方面优于其前代,以及在哪些方面仍落后于 Gemini 3.8 Flash 和 Claude Sonnet 5.5。

11月4日周三
  1. vLLM Blog73

    Buoyant 发布 Kinference,一个面向 vLLM 和 Kubernetes 的开源推理控制平面

    Buoyant 宣布推出 Kinference,这是一个采用 Apache v2 许可证的开源控制平面,可将兼容 OpenAI 和 Anthropic 的推理流量路由到 Kubernetes 上的 vLLM worker,并新增 token 速率限制、按租户的使用量与成本追踪、KV-cache 感知的负载均衡以及 YAML 推理策略。在该项目的公开基准测试中,与标准 Kubernetes service 负载均衡相比,Kinference 在某一工作负载上将首 token 延迟中位数降低了 95%,端到端延迟中位数降低了 45%;在容量测试中,共享前缀场景的有效吞吐量达到 7.4 倍,多轮对话场景约为 3.5 倍。策略可以将较简单的提示词路由到更便宜的模型,将突发溢出流量发送到 Bedrock 和 Databricks 等提供商,或将带有 PII 标记的请求保留在集群内;按租户的指标涵盖 token 速率、TTFT、ITL 以及缓存与未缓存的提示词 token。

    推荐理由:Buoyant 的 Kinference 在 vLLM 之上增加了 KV-cache 感知的负载均衡和 YAML 推理策略,基准测试声称其相比标准 Kubernetes service 路由在 TTFT 和有效吞吐量上有大幅提升。

11月2日周一
  1. Anthropic Research70

    Anthropic 发布 FlashProve:一个用于可验证 LLM 推理的开源 zkSNARK 系统

    Anthropic 发布了 FlashProve,这是一个开源原型,使用 zkSNARK 证明某个响应来自一个已承诺的模型,而无需暴露其权重。在 Llama 4 Maverick(400B 参数 MoE,4 位权重)上,单张 H100 以约 110 tokens/秒的速度生成证明,每 1,024 token 请求的证明大小约 19 MB,约为 vLLM 完成相同工作所需 GPU 时间的 70-95 倍。该发布包含可执行的证明器和验证器代码、一个 C++ 快速验证器、一个 Lean 验证器(其完备性、可靠性和零知识性陈述经机器检查),以及一份技术报告,全部采用 Apache 2.0 许可。

    推荐理由:Anthropic 的 FlashProve 表明,基于 zkSNARK 的推理证明对于一个 400B 参数的 MoE 模型正变得实用,并提供了开放代码和经 Lean 检查的安全性声明。

10月28日周三
  1. Artificial Analysis Articles82

    Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5,在 Coding Agent Index 上排名第二

    谷歌的 Gemini 4 Carbon 在 Artificial Analysis Coding Agent Index 上位列第 5。5(最高 62),并在 9 项 Index 评测中的 4 项领先,包括 HLE-Diamond 和 Terminal-Bench-Science。1 从 4% 升至 11%;该模型正面向部分用户推出,尚未公开可用。

    推荐理由:Gemini 4 Carbon 以 59 分登顶 Artificial Analysis Intelligence Index v5,在 Coding Agent Index 上落后 Claude Opus 5.5 3 分,并附有每任务成本和幻觉数据供比较。

10月22日周四
  1. Microsoft Research64

    微软研究院与合著者证明了31年历史的KLS猜想

    微软研究员张新智(Xinzhi Zhang)与一位合著者证明了Kannan-Lovász-Simonovits(KLS)猜想——一个悬而未决31年的高维几何开放问题,表明该界可由一个与维度无关的通用常数成立。该证明源自一个人工引导的智能体过程:AI智能体探索了100多种候选方法,研究人员则对搜索进行剪枝和重新引导;而在相当token预算下用领先模型进行的另一次无引导尝试未能成功。同日另有两篇证明出现,随后还发布了Lean 4形式化。

    推荐理由:一个悬而未决31年的高维几何开放问题,通过人工引导的智能体搜索在大约100种候选方法中得到解决,并以独立证明和Lean形式化作为确认。