跳至正文
  1. AWS Machine Learning Blog66

    AWS 更新 AgentCore 執行環境:工作階段啟動速度提升 15 倍、運算資源增加 4 倍

    AWS 宣布更新 Amazon Bedrock AgentCore 執行環境,這是其用於代理程式的受管運算層,工作階段現在啟動速度最高提升 15 倍,可擴展至 4 倍運算資源(最高 8 個 vCPU 與 32 GB,容器映像最高 10 GB),執行效率最高提升 68%,同時每個工作階段仍維持在各自硬體隔離的 Firecracker MicroVM 中。無論映像大小或並行數量,工作階段皆在 2 秒內啟動,閒置代理程式會縮減至零,代理程式可掛載檔案系統並將工作儲存至 Amazon S3 儲存貯體等位置,支援 FUSE,讓資料留在信任邊界內。此執行環境即日起在北美、南美、歐洲與亞太地區的 AWS 區域提供。

    推薦理由:AgentCore 執行環境的新版本同時調整了工作階段啟動、算力上限與記憶體計費,為需要長時間執行的智慧代理提供了隔離與成本之間的新取捨。

  2. AWS Machine Learning Blog60

    AWS 開源 UAEF,一個與框架無關的 AI 代理評估系統

    AWS 已開源 UAEF(Universal Agent Evaluation Framework),這是一個與框架無關的系統,透過適配器將來自 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的代理軌跡正規化為統一的 AgentTrace,再以 7 個維度下的 36 項內建指標進行評分。結果按實驗分別儲存在 Amazon DynamoDB 和 Amazon S3 中,讓團隊可以將代理版本與基準進行比較,以預設 5% 的閾值標記回歸,並生成統計報告及 LLM 撰寫的洞察。文章指出,電信、醫療保健和金融服務領域 12 個組織的客戶在發布前使用了 UAEF,Apache 2.0 程式碼、Python 函式庫、CDK 部署及各框架的 notebook 均位於 awslabs/uaef GitHub 儲存庫中。

    推薦理由:AWS 團隊開源 UAEF,用適配器把不同框架的 Agent 軌跡統一成一種格式,再以 36 項指標跨 7 個維度打分,為跨框架比較 Agent 版本提供了一套可復用的評測層。

  1. vLLM Blog64

    vLLM-Omni 在 Vera Rubin 上對 MiniMax H3-Image 進行基準測試:0.87 秒生成 4K 影像,每小時 6,115 張影像

    vLLM-Omni 將 MiniMax H3-Image 帶到 NVIDIA Vera Rubin,並測得在四張 GPU 上進行原生 4096×4096 文字轉圖像的中位延遲為 0.87 秒,另在獨立吞吐配置下達到每小時 6,115 張影像。H3-Image 是一個開放權重的文字轉圖像與編輯模型,結合 Qwen3-VL 編碼器、33.1B 稠密 DiT 與影像 VAE,以六個取樣步驟處理這兩項任務,並支援最多 16 張參考影像。團隊報告了 MXFP8 DiT GEMM、Ulysses SP4、AdaLN 快取,以及一項將解碼時間從 2.635 秒縮短至 0.213 秒的 VAE 解碼變更,並列出 AMD、Intel、華為昇騰與摩爾線程硬體的配置方案。

    推薦理由:vLLM-Omni 的基準測試顯示 MiniMax H3-Image 在 Vera Rubin 上以不到一秒的 4K 延遲運行,並附有各硬體配置與服務經濟性的成本模型。

  2. vLLM Blog60

    vLLM 新增對 Thinking Machines 的 Inkling 2 Small 的 day-0 支援

    vLLM 在 day 0 支援 Thinking Machines 的 Inkling 2 Small,這是一個多模態文字與視覺 MoE,總參數 594B、活躍參數 17B,上下文最多可達 1M 個 token。此整合加入了搭配 PDL 的核心融合、用於 prefill 的序列平行,在 TP4 下將 8K token 的 prefill 步驟縮短 22%,TP8 下縮短 26%,以及一個 Gluon 相對注意力解碼核心,將 100K 上下文下 batch-1 的解碼步驟從 15.1 ms 降至 4.8 ms。vLLM 回報在 GB200 上 TP4 時可達每使用者最高 630 TPS,接受長度 3.5,並且也透過 SkyRL 支援 LoRA 與 RL。

    推薦理由:vLLM 在發布當天即支援 Inkling 2 Small,並給出核心融合、序列平行和 Gluon 解碼核心的具體優化數據,可供部署大型 MoE 模型的團隊參考。

  3. vLLM Blog72

    vLLM 在 Vera Rubin NVL72 上服務 DeepSeek-V4.1-Flash,吞吐量達 GB300 NVL72 的 58 倍

    vLLM 報告指出,在單一 NVIDIA Vera Rubin NVL72 機架上服務 DeepSeek-V4.1-Flash,每 GPU 達 1.7M tokens/s、每位使用者 387 tokens/s,為 GB300 NVL72 的 58 倍,峰值達 2.52M tokens/s,單一使用者可達 1,810 tokens/s。這些增益來自為 Rubin 分割記憶體域與 FP4 張量核心重建的 kernel、專用的 TP8 解碼路徑,以及透過 NVLink 共享的整機架 KV 與 Engram 池。透過整機架的前綴池化與 Dynamo 的工作負載感知路由,即使在高併發下前綴命中率仍維持在 96.5-97%。

    推薦理由:vLLM 第三篇 DeepSeek-V4.1-Flash 文章詳述 Rubin 專用 kernel 與整機架記憶體池化如何將吞吐量提升至 GB300 NVL72 的 58 倍,為大規模服務優化提供了具體參考。

  4. Google Blog · AI78

    Google 推出 Gemini Decisions API 與 Gemini Decision 1 模型,用於快速封閉集決策

    Google 推出 Gemini Decisions API,由全新的 Gemini Decision 1 模型(gemini-decision-1)驅動,並可透過 Google AI Studio 中的 Gemini API 使用。單次多模態輸入最高可達 256K token,能在一次前向傳遞中對最多 1,000 道是非題、選擇題與評分規準評分題進行檢查,回傳機率與信心分數,端到端延遲為 150-250 毫秒,每 1M 輸入 token 收費 $0.10,且不收取輸出 token 費用。Google 表示,該模型在其基準測試套件中領先,校準誤差最低,且搭配 Interactions API 時比 Gemini 3.5 Flash-Lite 便宜近 5 倍;內部用途包括 Gemini Notebook 中的模型路由、Stitch 中的線框圖生成,以及 Search 中針對 MCP 工具的對抗性內容檢查。

    推薦理由:Google 的新端點能在一次傳遞中以 150-250 毫秒對最多 1,000 道多模態是非題、選擇題與評分規準題進行評分,為代理路由與政策檢查提供了比生成式呼叫更便宜的替代方案。

  1. OpenRouter Announcements65

    OpenRouter 在同一項 GitHub 任務上測量 MCP、CLI 與技能的上下文成本

    OpenRouter 在 Claude Sonnet 5.5、GPT-6 Luna 與 Gemini 3.8 Flash 上,以 GitHub MCP 伺服器、gh CLI 與 gh 技能測量同一項 GitHub 任務。在 Sonnet 5.5 上,三者皆正確作答,但 CLI 用了 1,421 個輸入 token,技能用了 3,315 個,而 MCP 伺服器用了 59,417 個,其 46 個預設工具單是定義就讓每次請求增加 19,436 個 token。將伺服器範圍縮減至兩個工具後,該任務降至 23,228 個 token;將結果上限設為 4,000 字元後,降至 5,357 個;Tool Search 將 46 個工具的前期成本降至 600 個 token 以下,不過它在 Sonnet 5.5 上將整項任務的成本減半,在 Claude Haiku 5.5 上卻提高了成本。

    推薦理由:OpenRouter 的實測比較顯示,MCP 伺服器、CLI 與技能在同一項 GitHub 任務上各自消耗多少上下文,以及精簡工具結果或延後載入定義會在何處改變帳單。

  2. OpenRouter Announcements60

    OpenRouter 測試 fp8 與 fp4 量化對 LLM 品質與價格的影響

    OpenRouter 於 2026 年 10 月 20 日對 Qwen3.8 27B 的六個端點執行了 280 項精確答案任務,未偵測到 fp16、fp8 與 fp4 之間有準確率差異,六個端點的得分皆介於 98.3% 至 99.2% 之間。在 1,455 個端點中,59.5% 完全未回報精度,而 fp8 是最常見的標示格式,佔 23.6%。對多數模型而言,較低精度較便宜,但並非全部皆然;供應商選擇對價格的影響大於精度,同精度端點中最貴者為最便宜者的中位數 1.72 倍。

    推薦理由:OpenRouter 對同一模型的 fp8、fp4 與 fp16 端點進行了 240 項精確答案任務的測量,未發現可偵測的準確率差距,而價格差異與供應商的關聯大於與精度的關聯。

  3. LangChain Blog60

    LangChain 說明 Deep Agents 如何在不把所有內容都留在上下文視窗的情況下管理上下文

    LangChain 詳細說明其開源 Deep Agents 框架如何運用中介層來對抗長時間代理執行中的上下文腐化。工具結果超過約 20,000 個 token、使用者訊息超過 50,000 個 token 時,會被卸載到檔案中,只顯示預覽;而當用量達到上下文視窗的 85% 時,摘要功能會壓縮較舊的訊息。技能、子代理和一個 markdown 長期記憶檔案讓主代理的視窗保持精簡,並讓記憶能跨模型和供應商延續。

    推薦理由:LangChain 說明其開源 Deep Agents 框架如何運用中介層來卸載、摘要和隔離上下文,為長時間任務中的代理提供可重複使用的模式。

  4. NVIDIA Blog60

    NVIDIA 將 OpenShell 代理執行環境貢獻給 CNCF,並新增 DSX Kubernetes 工具

    NVIDIA 將其用於保護與治理自主代理的開源執行環境 OpenShell 貢獻給雲原生運算基金會,成為沙箱專案,同時也對 Google 主導的 Agent Substrate 做出貢獻。NVIDIA 宣布三項新的 DSX AI Factory 平台元件:NVIDIA Kubernetes Engine 與 NVIDIA Kubernetes Recipes(現已進入公開預覽),以及 NVIDIA Snapshot,可在數秒內還原檢查點副本,無需重新載入模型或暖機。Crusoe 在 Crusoe Cloud 上測試 GLM-5.3,將工作負載就緒時間從約八分鐘縮短至 31 秒,而 Saturn Cloud 則將 vLLM 啟動時間從 2 到 8.5 分鐘縮短至 6 分 34 秒。

    推薦理由:NVIDIA 將其代理安全執行環境 OpenShell 貢獻給 CNCF,並為 GPU AI 工廠新增 Kubernetes 工具,早期的 Snapshot 成果將推論啟動時間從數分鐘縮短至數秒。

  1. Hugging Face Blog60

    Hugging Face 解釋決策模型及其在 Transformers 與 llama.cpp 中的支援

    Hugging Face 發布了一篇關於決策模型的說明文章,這類模型接收狀態與具型別的問題,並回傳預定義答案上的機率,而非生成文字。文章詳細介紹了 choice、score 與 noul 原語、信心公式,以及透過 Transformers 的 DecisionPipeline 與 AutoModelForDecision 提供的新支援、Transformers 與 llama.cpp 中共用的 /v1/systemone 端點、用於探索的 Hub 標籤,以及使用 Trainer API 進行微調。文章指出,同一個端點也能透過在批次前向傳遞中對答案 logits 評分,與相容的自迴歸 LLM 搭配運作。

    推薦理由:Hugging Face 解釋了決策模型如何將分類轉變為具型別、非生成式的介面,並展示如何用 Transformers 與 llama.cpp 來服務與微調這些模型。

  2. OpenRouter Announcements72

    OpenRouter 對 15 個視覺模型與 Mistral OCR 進行掃描文件基準測試

    OpenRouter 在八份自製的劣化掃描檔上測試了 15 個視覺模型、Mistral OCR 與 Tesseract,Claude Opus 5.5 最準確,264 個關鍵值中答對 262 個,每 1,000 頁成本 $16.42,而 Mistral OCR 性價比最佳,264 個中答對 258 個,成本 $2.02。在一張褪色收據上,GPT-6 Luna 與 GPT-6.1 Sol 捏造了卡片數字、一個伺服器名稱與 wifi 密碼,這些錯誤無法從字元錯誤率中看出。文章包含轉錄掃描檔、關閉推理、交叉核對兩個不同實驗室的模型,以及透過 file-parser 外掛執行 Mistral OCR 的程式碼。

    推薦理由:對 15 個視覺模型加上 Mistral OCR 與 Tesseract 在八份劣化掃描檔上進行實測基準測試,並附上可執行的程式碼,可交叉核對兩個模型以揪出捏造的值。

  1. Anthropic · Claude.dev60

    Anthropic 指南:如何在 Claude Fable 5.2、Opus 5.5、Sonnet 5.5 與 Haiku 5.5 之間選擇

    Anthropic 發布指南,建議開發者將多數程式設計與知識工作從 Claude Opus 5.5 的預設中等努力等級開始,因為其每 token 成本僅為 Fable 5.2 的一半。該指南將 Sonnet 5.5 對應到範圍明確的日常工作,Haiku 5.5 對應到高頻分類、路由與子代理任務,Fable 5.2 則對應到最困難的程式設計、金融與科學專案或長時間無人值守的執行。指南也建議在切換模型前先調整努力等級,並指出在 SWE-bench Pro 上,Opus 5.5 以低努力執行、失敗者再以高努力重跑,通過約 97% 的任務,每項約 $0.17,相較之下每項任務都以高努力執行則為 95.3%、每項 $0.29。

    推薦理由:Anthropic 自家的指南將每個 Claude 模型與努力等級對應到具體任務類型,並提供每項任務成本與基準比較,以供從中選擇。

  2. Zyphra Research78

    Zyphra 發布 ZONOS3-Mini:一款可在裝置端執行的 Apache 2.0 零樣本語音複製 TTS 模型

    Zyphra 發布 ZONOS3-Mini,這是一款稀疏 MoE 文字轉語音模型,具備 1 億活躍參數與 8 億總參數,採用 Apache 2.0 授權,以 112 張 NVIDIA H100 訓練 2.5 天。它在 Pixel 9 的瀏覽器上可達到低於 570 毫秒的首次音訊延遲,在 M3 MacBook Air 上則低於 150 毫秒,並提供 WebGPU、SGLang、vLLM 與 GGML 的執行環境。該模型新增對身分、口音、品質、情緒與表達方式的控制,包括詞級引導,且 Zyphra 表示它在其新的 ZTTS2-Eval 基準測試中於開源模型裡排名第一。

    推薦理由:Zyphra 這款精巧的 MoE TTS 模型將零樣本語音複製與詞級表達控制結合,同時能在手機與筆記型電腦上即時執行。

  3. Google Developers Blog60

    Google Cloud MaxText 新增上下文平行處理,支援 TPU 上的長上下文訓練

    Google Cloud 在 MaxText v0.2.4 中發布長上下文訓練支援,這是其開源的 JAX 訓練框架,在 Cloud TPU 上新增四種上下文平行策略:All-gather、A2A(DeepSpeed Ulysses)、P2P(Ring Attention)以及 A2A + P2P 混合(USP)。以 Llama 3.1 8B 進行的基準測試在 TPU 5p 上、序列長度最高達 400 萬個 token 時達到 70% MFU,上下文在 TPU 5p 和 TPU 7 上均擴展至 1400 萬個 token,其中 TPU 7 在低於 600 萬個 token 時維持 50% MFU。此版本已於 PyPI、Docker 映像檔和 GitHub main 上發布,並附有 TPU 7 和 TPU 5p 的範例配方。

    推薦理由:MaxText 在 Cloud TPU 上的四種上下文平行策略,加上 Llama 3.1 8B 的基準 MFU 數據,為團隊在選擇如何進行數百萬 token 序列長度的訓練時提供了具體參考。

  4. Anthropic Research71

    Anthropic 在真實世界電子設計上測試 Claude Fable 5.2

    Anthropic 報告指出,Claude Fable 5.2 僅憑極少提示便設計出三款電子裝置:免持擴音電話、語音助理中樞與掌上型虛擬寵物,且 Diode Computers 依其設計檔案打造出可運作的原型,無須修正電路。在 Diode 內部的 PCB Gym 基準測試中,Fable 5.2 得分 69%,Fable 5 則為 25%;在公開的 BenchCAD 2.1 上,它達到 83.5%,幾乎是 Claude Fable 5.1 的兩倍。這些裝置仍屬原型,尚未經過電氣驗證、天線調校、熱測試或認證,且 Claude 並未連接至測試設備或製造機器。

    推薦理由:Anthropic 親自說明 Claude Fable 5.2 設計出三款可運作的電子裝置,顯示模型已從局部 PCB 佈局大幅進展到端到端的硬體原型製作。

  5. Google Developers Blog62

    Google 在 Google Cloud 上正式推出 Pathways,用於大型模型訓練

    Google 宣布,其用於大型模型(包括 Gemini)的分散式訓練系統 Pathways 已在 Google Cloud Platform 上正式推出(General Availability)。Pathways 以單一 Python 用戶端宣告整個計算為資料流圖,取代了鎖步式 SPMD 執行;分散式執行階段則將區塊放置於虛擬裝置上、移動並重新分片張量,並在整個叢集間排序工作。Google 表示,此設計可讓故障主機重新對應到健康的晶片上,而不必重新啟動作業;且共用的 Pathways 服務能從單一叢集服務多個用戶端。

    推薦理由:Google 說明了 Pathways 的單控制器模型與 SPMD 的差異,以及它如何處理跨群組張量傳輸、排程與主機故障復原。

  1. vLLM Blog77

    REINFORCE Zero:核心對齊讓非同步 RL 在策略延遲 64 下穩定訓練,並擴展至 DeepSeek-V4.1 與 Kimi K3.1

    NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示,對齊 rollout 與訓練器的核心,可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲,在策略延遲 64 下穩定訓練 20,000 次更新,並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時,rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍,線上 AIME24 pass@1 從 34.27% 降至 13.96%,而序列閘門雖能穩定訓練,但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1,以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1,程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。

    推薦理由:NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配,顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。

  2. Google Developers Blog60

    Google 研究發現,過時的 TODO 錯誤參照在 13% 的編碼工作階段中分散編碼代理的注意力

    參照。代理在 6% 的遭遇中依據該錯誤 ID 採取行動,其中 83% 的行動並非開發者所提示;41% 的非提示性繞道追逐已關閉的工單,而 57% 則觸及仍開啟的錯誤並擴大了範圍。在控制開發者、程式碼庫複雜度、任務類型、模型層級及其他因素後,非提示性錯誤繞道使每個工作階段多出 70% 的步驟、77% 的 token 及 105% 的等待時間。

    推薦理由:Google 的大規模追蹤分析顯示,過時的 TODO 錯誤參照會使編碼代理陷入非提示性繞道,而其清理代理已移除數千個過時參照,審查者接受率超過 95%。

  1. Mistral AI69

    Mistral 擴充 Studio,推出託管代理、工作流程與應用程式,並同步搭載 Mistral Large 4(Le Chonk)

    Mistral 擴充其企業 AI 平台 Studio,加入託管代理與應用程式,以及新的工作流程、企業情境、代理可觀測性與評估能力,並運行於 Mistral Large 4(Le Chonk)模型上。開發者可使用技能、沙箱、子代理與鉤子建構多步驟代理,並透過新的 Mistral MCP 伺服器以單一指令部署至 Studio。Mistral 表示,包括 ABANCA、BNP Paribas、Capgemini 與 TCS 在內的客戶已在生產環境中使用 Studio,部署方式可選擇雲端、VPC 或地端。

    推薦理由:Mistral 擴充 Studio,推出託管代理、工作流程與應用程式,展示企業如何將部署與資料控制保留在自身環境中。