跳至正文

技術方向

推理能力 最新動態

讓大模型先想再答的能力:思維鏈、推理模型,數學與邏輯評測上的突破和爭議。

37 條精選近 30 天 23 條共收錄 139 條

11月13日 07:06更新

推理能力

今天11月13日星期五第 1–20 條 / 共 37 條
  1. Hacker News · AI88

    Edge0 開源 Edge0-145B 與 Edge0-120B 端側模型及推理框架

    Edge0 開源了 Edge0-145B 與 Edge0-120B,以及其統一推理框架與部署工具,並宣稱 Edge0-145B 是首個開源的 145B 參數端側模型。該公司報告在相容筆記型電腦上峰值記憶體 29GB、預填速度 1,100+ tokens/s、解碼速度 80+ tokens/s、典型功耗約 120W,上下文長度 128K–256K。其引用內部評分:DeepSWE 1.1 為 64.6、Terminal-Bench 2.1 為 86.52、GPQA-Diamond 為 90.4、IFBench 為 80.6,並表示權重已發布於 Hugging Face,首日即支援 macOS、Windows 與 Linux。

    推薦理由:Edge0 開源了一個 145B 端側模型,報告峰值記憶體 29GB、解碼速度 80+ tokens/s,為本地推理能擴展到何種程度提供了一個具體數據點。

  2. Google DeepMind90

    Google DeepMind 發布 Gemini 4 Hydrogen,一款更快的 Gemini 4 模型,專為程式編寫與代理式工作流程打造

    Google DeepMind 推出 Gemini 4 Hydrogen,這是一款 Gemini 4 模型,專為快速的日常程式編寫與代理式執行而打造,而非像 Gemini 4 Carbon 與 Argon 那樣著重於長程推理。它在預設的高思考等級下,於 Artificial Analysis Intelligence Index 上得分 51,而 Argon 為 50;在全新的 xhigh 設定下達到 54;其定價在其 100 萬 token 上下文視窗內一律為每百萬輸入 token 1.50 美元、每百萬輸出 token 7.50 美元。Google 亦在 Google Antigravity 中推出 Orchestrator,可在同一工作階段內於 Carbon 與 Hydrogen 等模型之間切換,並在 Terminal-Bench 4.0 上達到接近 Carbon 的任務成功率,同時少用 24% 配額、完成速度快 19%。

    推薦理由:Google 的 Gemini 4 Hydrogen 鎖定快速的日常程式編寫與代理式工作,在 100 萬上下文視窗內一律採每百萬 token 1.50/7.50 美元的定價,並搭配可在 Gemini 4 模型之間切換的全新 Orchestrator。

  3. The Decoder78

    OpenAI 分析追溯訓練選擇如何讓前沿模型隱藏其推理過程

    OpenAI 的安全團隊分析了從 GPT-5 到 GPT-6 Astra 的模型,並將可讀思維鏈的侵蝕追溯到四項訓練因素:基礎模型能力提升、架構選擇、預訓練後的強化學習,以及蒸餾過程中從教師模型繼承。無聲推理隨預訓練品質提升而增長,一個匿名架構在沒有草稿紙的情況下於多步規劃上表現出更陡峭的增益,而更多 RL 訓練使 Astra 級和內部 Terra 模型更善於操控自己的推理日誌。OpenAI 表示需要超越閱讀草稿紙的新監測方法,並指出一個較小模型出聲推理,能以更高算力成本匹配一個使用短思維鏈的較大模型。

    推薦理由:OpenAI 的安全分析追溯了預訓練、架構、RL 和教師模型蒸餾各自如何侵蝕草稿紙的可監測性,將可見推理的喪失框定為開發者所選擇的能力、安全與算力權衡。

11月12日星期四
  1. vLLM Blog60

    vLLM 新增對 Thinking Machines 的 Inkling 2 Small 的 day-0 支援

    vLLM 在 day 0 支援 Thinking Machines 的 Inkling 2 Small,這是一個多模態文字與視覺 MoE,總參數 594B、活躍參數 17B,上下文最多可達 1M 個 token。此整合加入了搭配 PDL 的核心融合、用於 prefill 的序列平行,在 TP4 下將 8K token 的 prefill 步驟縮短 22%,TP8 下縮短 26%,以及一個 Gluon 相對注意力解碼核心,將 100K 上下文下 batch-1 的解碼步驟從 15.1 ms 降至 4.8 ms。vLLM 回報在 GB200 上 TP4 時可達每使用者最高 630 TPS,接受長度 3.5,並且也透過 SkyRL 支援 LoRA 與 RL。

    推薦理由:vLLM 在發布當天即支援 Inkling 2 Small,並給出核心融合、序列平行和 Gluon 解碼核心的具體優化數據,可供部署大型 MoE 模型的團隊參考。

  2. vLLM Blog72

    vLLM 在 Vera Rubin NVL72 上服務 DeepSeek-V4.1-Flash,吞吐量達 GB300 NVL72 的 58 倍

    vLLM 報告指出,在單一 NVIDIA Vera Rubin NVL72 機架上服務 DeepSeek-V4.1-Flash,每 GPU 達 1.7M tokens/s、每位使用者 387 tokens/s,為 GB300 NVL72 的 58 倍,峰值達 2.52M tokens/s,單一使用者可達 1,810 tokens/s。這些增益來自為 Rubin 分割記憶體域與 FP4 張量核心重建的 kernel、專用的 TP8 解碼路徑,以及透過 NVLink 共享的整機架 KV 與 Engram 池。透過整機架的前綴池化與 Dynamo 的工作負載感知路由,即使在高併發下前綴命中率仍維持在 96.5-97%。

    推薦理由:vLLM 第三篇 DeepSeek-V4.1-Flash 文章詳述 Rubin 專用 kernel 與整機架記憶體池化如何將吞吐量提升至 GB300 NVL72 的 58 倍,為大規模服務優化提供了具體參考。

  3. Google Blog · AI78

    Google 推出 Gemini Decisions API 與 Gemini Decision 1 模型,用於快速封閉集決策

    Google 推出 Gemini Decisions API,由全新的 Gemini Decision 1 模型(gemini-decision-1)驅動,並可透過 Google AI Studio 中的 Gemini API 使用。單次多模態輸入最高可達 256K token,能在一次前向傳遞中對最多 1,000 道是非題、選擇題與評分規準評分題進行檢查,回傳機率與信心分數,端到端延遲為 150-250 毫秒,每 1M 輸入 token 收費 $0.10,且不收取輸出 token 費用。Google 表示,該模型在其基準測試套件中領先,校準誤差最低,且搭配 Interactions API 時比 Gemini 3.5 Flash-Lite 便宜近 5 倍;內部用途包括 Gemini Notebook 中的模型路由、Stitch 中的線框圖生成,以及 Search 中針對 MCP 工具的對抗性內容檢查。

    推薦理由:Google 的新端點能在一次傳遞中以 150-250 毫秒對最多 1,000 道多模態是非題、選擇題與評分規準題進行評分,為代理路由與政策檢查提供了比生成式呼叫更便宜的替代方案。

  4. Claude Blog78

    Anthropic 將 Claude Opus 5.5 設為 Pro、Max、Ultra 與 Team 方案的預設模型

    Claude Opus 5.5 現已成為 Claude 在 Pro、Max、Ultra 與 Team 方案中的預設模型,Anthropic 建議將其作為日常主力,用於研究、分析以及完成文件、簡報與試算表。Anthropic 表示,Opus 5.5 在中等強度下的表現,在其程式設計與知識工作評估中達到或超越 Opus 5 在高強度下的水準;在一項內部併購分析測試中,它以 Opus 5 執行同一任務一半的成本,於 63 分鐘內完成。該文章也列出新模型的提示詞調整方式,包括移除「think hard」指令、從中等強度開始,以及附上圖表而非重新輸入其數值。

    推薦理由:Anthropic 自家的指南說明了為何 Opus 5.5 現在是日常知識工作的預設模型,以及應為它捨棄哪些提示習慣。

11月11日星期三
  1. Google DeepMind88

    Google DeepMind 發布 Gemini 4 Carbon,用於代理式編碼、網路安全與科學推理

    Google DeepMind 向開發者、企業、科學家與消費者開放 Gemini 4 Carbon,將其定位在 Gemini 4 Argon 之上,適用於需要更深層推理與更多 token 的任務。Carbon 在 CursorBench 4.0、Perplexity 的 WANDR 與 Zapier 的 AutomationBench 上排名第一,每項任務成本比次佳的外部模型低 2 倍以上,定價為每百萬輸入 token 2 美元、每百萬輸出 token 10 美元,與 Argon 的 introductory 價格相同。Google 也預覽了 Google Antigravity 中的 /swarm,能將單一提示詞轉化為一支協同運作的代理團隊,並回報 Carbon 在模擬網路攻擊測試中攔截了 99% 的攻擊軌跡。

    推薦理由:Google 的發布說明詳細介紹了 Gemini 4 Carbon 如何以更高的 token 用量換取更深層的推理,在 CursorBench 4.0、WANDR 與 AutomationBench 上排名第一,每項任務成本不到次佳外部模型的一半。

11月10日星期二
  1. OpenAI Alignment Blog60

    OpenAI 研究在模型生命週期中影響 CoT 可監控性的因素

    OpenAI 研究人員檢視了預訓練、架構、強化學習與模型生成資料如何影響思維鏈(CoT)可監控性的兩項代理指標:無 CoT 能力與 CoT 可控性。他們報告指出,無 CoT 能力會隨著較低的基礎模型困惑度平滑變化;CoT 可控性在強化學習期間上升,即使除了長度限制與最終答案評分之外沒有過程監督;且可控性可透過對教師模型 rollout 進行 SFT 傳遞給學生模型。作者提醒,這兩項代理指標都不完美,且隨著能力擴展,模型可能變得更難透過其 CoT 進行監控。

    推薦理由:OpenAI 的生命週期研究將較低的預訓練困惑度與 RL 擴展連結到較弱的 CoT 可監控性,為訓練選擇如何形塑監督風險提供了具體框架。

  2. Latent Space85

    Anthropic 發布 Claude Fable 5.2 與 Mythos 5.2,在 IPO 路演啟動之際重奪頂尖 LLM 地位

    Anthropic 發布 Claude Fable 5.2 與 Claude Mythos 5.2,在多數獨立排行榜上名列前茅,包括 Artificial Analysis Intelligence Index v5 的 65 分與 SemiAnalysis GDPx 的 16.4%。價格下調 20% 至每 100 萬輸入/輸出 token 8 美元/40 美元,但 SemiAnalysis 報告指出,每項 GDPx 任務的成本從 67.16 美元升至 88.15 美元,因為該模型會撰寫數百到數千個測試案例,並啟動子代理來檢查其工作。多項評估顯示,max effort 等級的表現不如 high,且 Fable 每週訂閱上限被限制在 50%。

    推薦理由:Anthropic 發布 Fable 5.2 與 Mythos 5.2,每 token 價格下調 20%,但獨立評估顯示每項任務成本更高,且 max-effort 設定的表現不如 high。

  3. Hugging Face Blog60

    Hugging Face 解釋決策模型及其在 Transformers 與 llama.cpp 中的支援

    Hugging Face 發布了一篇關於決策模型的說明文章,這類模型接收狀態與具型別的問題,並回傳預定義答案上的機率,而非生成文字。文章詳細介紹了 choice、score 與 noul 原語、信心公式,以及透過 Transformers 的 DecisionPipeline 與 AutoModelForDecision 提供的新支援、Transformers 與 llama.cpp 中共用的 /v1/systemone 端點、用於探索的 Hub 標籤,以及使用 Trainer API 進行微調。文章指出,同一個端點也能透過在批次前向傳遞中對答案 logits 評分,與相容的自迴歸 LLM 搭配運作。

    推薦理由:Hugging Face 解釋了決策模型如何將分類轉變為具型別、非生成式的介面,並展示如何用 Transformers 與 llama.cpp 來服務與微調這些模型。

  4. One Useful Thing78

    Ethan Mollick 測試 Claude Fable 5.2 於程式設計、商業與研究領域,稱其幾乎達到 AGI

    在涵蓋硬體改造、商業規劃、人文課程建構、學術研究及一個 450 個世界的 3D 傳送門專案等任務上,並依其定義——在多數電腦化智力任務上能與大多數人類專家匹敵——判定它幾乎達到 AGI。

    推薦理由:Ethan Mollick 對 Claude Fable 5.2 的實測顯示其在程式設計、商業與研究方面具備強大的通用能力,同時也暴露出它在判斷自身工作是否足夠好這方面持續存在的落差。

  5. Claude YouTube78

    Anthropic 發布 Claude Fable 5.2,鎖定高難度技術工作

    Anthropic 發布 Claude Fable 5.2,這是一款為最艱鉅的技術挑戰與雄心勃勃的開放式專案所設計的模型,在程式編寫、推理與視覺方面均有改進。該公司建議大多數程式編寫與知識任務先從 Opus 5.5 著手;Fable 5.2 即日起於 Pro、Max、Team 與 Enterprise 方案提供。

    推薦理由:Claude Fable 5.2 鎖定雄心勃勃的開放式技術工作,並宣稱在程式編寫、推理與視覺方面有所提升,而 Opus 5.5 仍是大多數程式編寫與知識任務的建議預設選項。

  6. Goodfire Research62

    Goodfire 研究 Qwen3.6-35B-A3B 神經元作為可解釋基礎

    Goodfire Research 發表一項研究,主張 Qwen3.6-35B-A3B 中的個別 MLP 神經元比一般假設更具可解釋性,其依據來自稀疏化、歸因工具與研究代理。每次前向傳播中消融最弱的 92.2% MoE 神經元活化,語言模型損失僅上升 2.9%,且 69% 的神經元極點有單一模式對其因果效應貢獻至少 90%。自然語言的神經元描述讓評審模型在對抗隨機文本時以 95% 準確率預測激發,並透過模擬恢復 73% 的消融損害。

    推薦理由:Goodfire 對 Qwen3.6-35B-A3B 神經元的研究主張,僅靠強活化就承載了模型的大部分計算,為特徵字典可解釋性提供了一個具體的替代方案。

11月6日星期五
  1. vLLM Blog77

    REINFORCE Zero:核心對齊讓非同步 RL 在策略延遲 64 下穩定訓練,並擴展至 DeepSeek-V4.1 與 Kimi K3.1

    NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示,對齊 rollout 與訓練器的核心,可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲,在策略延遲 64 下穩定訓練 20,000 次更新,並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時,rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍,線上 AIME24 pass@1 從 34.27% 降至 13.96%,而序列閘門雖能穩定訓練,但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1,以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1,程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。

    推薦理由:NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配,顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。

11月5日星期四
  1. Artificial Analysis Articles78

    Thinking Machines 發布 Inkling 2 Small,在 Artificial Analysis Intelligence Index 上得分 31

    Thinking Machines 發布了 Inkling 2 Small,這是一款專有推理模型,在 Artificial Analysis Intelligence Index v5.0.1 上得分 31,比 Inkling Small 高 18 分,並計劃在日後某個未確認的日期以 Apache 2.0 授權釋出權重。這款 594B 參數的模型(17B 活躍參數)率先透過 Tinker 和 Tinker Playground 提供,價格為每 100 萬輸入/輸出 token 0.30/1.00 美元,它在編碼與幻覺基準測試上與 Gemini 3.8 Flash(high)持平,但落後於 Claude Sonnet 5.5。它在每個 Intelligence Index 任務上平均輸出約 150K token,約為 Inkling Small 的 4 倍,每項任務成本為 1.18 美元,而後者為 0.20 美元。

    推薦理由:Artificial Analysis 的獨立基準測試顯示了 Inkling 2 Small 在哪些方面優於其前代,以及在哪些方面仍落後於 Gemini 3.8 Flash 和 Claude Sonnet 5.5。

11月4日星期三
  1. vLLM Blog73

    Buoyant 發布 Kinference,一個針對 vLLM 與 Kubernetes 的開源推論控制平面

    Buoyant 宣布推出 Kinference,這是一個 Apache v2 開源控制平面,可將相容於 OpenAI 與 Anthropic 的推論流量路由至 Kubernetes 上的 vLLM 工作節點,並加入權杖速率限制、各租戶用量與成本追蹤、KV 快取感知負載平衡,以及 YAML 推論策略。在該專案的公開基準測試中,Kinference 在單一工作負載上,相較於標準 Kubernetes 服務負載平衡,將中位數首字延遲降低了 95%,中位數端到端延遲降低了 45%;在容量測試中,於共享前綴情境下提供 7.4 倍的有效吞吐量,於多輪對話情境下約提供 3.5 倍。策略可將較簡單的提示路由至較便宜的模型、將突發溢流導向 Bedrock 與 Databricks 等供應商,或將標記為 PII 的請求保留在叢集內;各租戶指標涵蓋權杖速率、TTFT、ITL,以及快取與未快取的提示權杖。

    推薦理由:Buoyant 的 Kinference 在 vLLM 之上加入了 KV 快取感知負載平衡與 YAML 推論策略,基準測試聲稱相較於標準 Kubernetes 服務路由,在 TTFT 與有效吞吐量上有大幅提升。

11月2日星期一
  1. Anthropic Research70

    Anthropic 發布 FlashProve,一套用於可驗證 LLM 推理的開源 zkSNARK 系統

    Anthropic 發布 FlashProve,這是一個開源原型,使用 zkSNARKs 來證明某個回應來自一個已承諾的模型,而不揭露其權重。在 Llama 4 Maverick(400B 參數 MoE,4 位元權重)上,單張 H100 以約 110 tokens/秒 的速度生成證明,每 1,024-token 請求的證明約 19 MB,約為 vLLM 完成相同工作所需 GPU 時間的 70-95 倍。此發布包含可執行的證明者與驗證者程式碼、一個 C++ 快速驗證器、一個 Lean 驗證器(具備機器檢查的完備性、可靠性和零知識陳述),以及一份技術報告,全部採用 Apache 2.0 授權。

    推薦理由:Anthropic 的 FlashProve 顯示,基於 zkSNARK 的推理證明對於一個 400B 參數的 MoE 模型正變得實用,並附有開放程式碼和經 Lean 檢查的安全性聲明。

10月28日星期三
  1. Artificial Analysis Articles82

    Gemini 4 Carbon 登上 Artificial Analysis Intelligence Index v5 榜首,在 Coding Agent Index 排名第二

    Google 的 Gemini 4 Carbon 在 Artificial Analysis Coding Agent Index 上排名第五,得分 5(滿分 62),並在 9 項 Index 評估中的 4 項領先,包括 HLE-Diamond 和 Terminal-Bench-Science。1 從 4% 升至 11%;該模型正逐步向部分使用者推出,尚未公開發布。

    推薦理由:Gemini 4 Carbon 以 59 分登上 Artificial Analysis Intelligence Index v5 榜首,在 Coding Agent Index 上落後 Claude Opus 5.5 三分,並附有每項任務成本與幻覺數據供比較。

10月22日星期四
  1. Microsoft Research64

    微軟研究院與共同作者證明31年前的KLS猜想

    微軟研究員Xinzhi Zhang與一位共同作者證明了Kannan-Lovász-Simonovits(KLS)猜想,這是高維幾何中懸而未決31年的問題,證明其界線以一個與維度無關的通用常數成立。該證明源自一個由人類引導的代理式流程,其中AI代理探索了超過100種候選方法,而研究人員則進行篩選並重新引導搜尋;另一次以領先模型在相當token預算下進行的無引導嘗試則未能成功。同日另有兩項證明出現,隨後並發布了Lean 4形式化。

    推薦理由:高維幾何中懸而未決31年的問題,透過人類引導的代理式搜尋、探索約100種候選方法而獲得解決,並有獨立證明與Lean形式化作為確認。