跳至正文
  1. AWS Machine Learning Blog66

    AWS 更新 AgentCore 執行環境:工作階段啟動速度提升 15 倍、運算資源增加 4 倍

    AWS 宣布更新 Amazon Bedrock AgentCore 執行環境,這是其用於代理程式的受管運算層,工作階段現在啟動速度最高提升 15 倍,可擴展至 4 倍運算資源(最高 8 個 vCPU 與 32 GB,容器映像最高 10 GB),執行效率最高提升 68%,同時每個工作階段仍維持在各自硬體隔離的 Firecracker MicroVM 中。無論映像大小或並行數量,工作階段皆在 2 秒內啟動,閒置代理程式會縮減至零,代理程式可掛載檔案系統並將工作儲存至 Amazon S3 儲存貯體等位置,支援 FUSE,讓資料留在信任邊界內。此執行環境即日起在北美、南美、歐洲與亞太地區的 AWS 區域提供。

    推薦理由:AgentCore 執行環境的新版本同時調整了工作階段啟動、算力上限與記憶體計費,為需要長時間執行的智慧代理提供了隔離與成本之間的新取捨。

  1. TechCrunch · AI78

    黃仁勳辭去Nvidia執行長職務,引發外界對Nvidia開源支援的疑慮

    Nvidia執行長黃仁勳於週四辭職,此前他承認與一名據稱是中國間諜的女子有婚外情,這使得Nvidia是否會繼續支持開放權重AI成為未知數。黃仁勳曾推動Nemotron開放權重模型系列,支持Reflection AI和Thinking Machines Lab等新創公司,並組織了一封由25家公司簽署的公開信,敦促華盛頓不要過度限制開放模型。Nvidia已任命財務長Colette Kress為臨時執行長,且尚未敲定以130億美元收購Hugging Face的交易。

    推薦理由:Huang's resignation leaves open-weight AI advocacy without its most visible corporate backer, while Nvidia's pending Hugging Face deal and its own business incentives suggest the strategy may outlast him.

  2. vLLM Blog64

    vLLM-Omni 在 Vera Rubin 上對 MiniMax H3-Image 進行基準測試:0.87 秒生成 4K 影像,每小時 6,115 張影像

    vLLM-Omni 將 MiniMax H3-Image 帶到 NVIDIA Vera Rubin,並測得在四張 GPU 上進行原生 4096×4096 文字轉圖像的中位延遲為 0.87 秒,另在獨立吞吐配置下達到每小時 6,115 張影像。H3-Image 是一個開放權重的文字轉圖像與編輯模型,結合 Qwen3-VL 編碼器、33.1B 稠密 DiT 與影像 VAE,以六個取樣步驟處理這兩項任務,並支援最多 16 張參考影像。團隊報告了 MXFP8 DiT GEMM、Ulysses SP4、AdaLN 快取,以及一項將解碼時間從 2.635 秒縮短至 0.213 秒的 VAE 解碼變更,並列出 AMD、Intel、華為昇騰與摩爾線程硬體的配置方案。

    推薦理由:vLLM-Omni 的基準測試顯示 MiniMax H3-Image 在 Vera Rubin 上以不到一秒的 4K 延遲運行,並附有各硬體配置與服務經濟性的成本模型。

  3. vLLM Blog60

    vLLM 新增對 Thinking Machines 的 Inkling 2 Small 的 day-0 支援

    vLLM 在 day 0 支援 Thinking Machines 的 Inkling 2 Small,這是一個多模態文字與視覺 MoE,總參數 594B、活躍參數 17B,上下文最多可達 1M 個 token。此整合加入了搭配 PDL 的核心融合、用於 prefill 的序列平行,在 TP4 下將 8K token 的 prefill 步驟縮短 22%,TP8 下縮短 26%,以及一個 Gluon 相對注意力解碼核心,將 100K 上下文下 batch-1 的解碼步驟從 15.1 ms 降至 4.8 ms。vLLM 回報在 GB200 上 TP4 時可達每使用者最高 630 TPS,接受長度 3.5,並且也透過 SkyRL 支援 LoRA 與 RL。

    推薦理由:vLLM 在發布當天即支援 Inkling 2 Small,並給出核心融合、序列平行和 Gluon 解碼核心的具體優化數據,可供部署大型 MoE 模型的團隊參考。

  1. NVIDIA Blog60

    NVIDIA 將 OpenShell 代理執行環境貢獻給 CNCF,並新增 DSX Kubernetes 工具

    NVIDIA 將其用於保護與治理自主代理的開源執行環境 OpenShell 貢獻給雲原生運算基金會,成為沙箱專案,同時也對 Google 主導的 Agent Substrate 做出貢獻。NVIDIA 宣布三項新的 DSX AI Factory 平台元件:NVIDIA Kubernetes Engine 與 NVIDIA Kubernetes Recipes(現已進入公開預覽),以及 NVIDIA Snapshot,可在數秒內還原檢查點副本,無需重新載入模型或暖機。Crusoe 在 Crusoe Cloud 上測試 GLM-5.3,將工作負載就緒時間從約八分鐘縮短至 31 秒,而 Saturn Cloud 則將 vLLM 啟動時間從 2 到 8.5 分鐘縮短至 6 分 34 秒。

    推薦理由:NVIDIA 將其代理安全執行環境 OpenShell 貢獻給 CNCF,並為 GPU AI 工廠新增 Kubernetes 工具,早期的 Snapshot 成果將推論啟動時間從數分鐘縮短至數秒。

  1. Goodfire Research62

    Goodfire 研究 Qwen3.6-35B-A3B 神經元作為可解釋基礎

    Goodfire Research 發表一項研究,主張 Qwen3.6-35B-A3B 中的個別 MLP 神經元比一般假設更具可解釋性,其依據來自稀疏化、歸因工具與研究代理。每次前向傳播中消融最弱的 92.2% MoE 神經元活化,語言模型損失僅上升 2.9%,且 69% 的神經元極點有單一模式對其因果效應貢獻至少 90%。自然語言的神經元描述讓評審模型在對抗隨機文本時以 95% 準確率預測激發,並透過模擬恢復 73% 的消融損害。

    推薦理由:Goodfire 對 Qwen3.6-35B-A3B 神經元的研究主張,僅靠強活化就承載了模型的大部分計算,為特徵字典可解釋性提供了一個具體的替代方案。

  1. OpenClaw Blog69

    OpenClaw 推出多人模式,支援共享 Agent 與上下文

    OpenClaw 已推出 Multiplayer,這是一項免費且開源的功能,讓多個人可以連接到同一個 OpenClaw Agent 和工作區,提示會即時顯示在各自的筆記型電腦上,請求則透過共享佇列進行協調。在舊金山 GitHub Universe 的演示中,兩位與會者分別在各自的機器上輸入提示,共同編輯同一個 3D 場景,而無需重新陳述上下文。OpenClaw 基金會表示,已有 50 多人在同一個共享環境中協作,並將持續擴展這項功能。

    推薦理由:OpenClaw 將多人共享同一 Agent 與上下文做成免費開源功能,為團隊協作中反覆重建上下文的問題提供了一種可遷移的做法。

  1. vLLM Blog73

    Buoyant 發布 Kinference,一個針對 vLLM 與 Kubernetes 的開源推論控制平面

    Buoyant 宣布推出 Kinference,這是一個 Apache v2 開源控制平面,可將相容於 OpenAI 與 Anthropic 的推論流量路由至 Kubernetes 上的 vLLM 工作節點,並加入權杖速率限制、各租戶用量與成本追蹤、KV 快取感知負載平衡,以及 YAML 推論策略。在該專案的公開基準測試中,Kinference 在單一工作負載上,相較於標準 Kubernetes 服務負載平衡,將中位數首字延遲降低了 95%,中位數端到端延遲降低了 45%;在容量測試中,於共享前綴情境下提供 7.4 倍的有效吞吐量,於多輪對話情境下約提供 3.5 倍。策略可將較簡單的提示路由至較便宜的模型、將突發溢流導向 Bedrock 與 Databricks 等供應商,或將標記為 PII 的請求保留在叢集內;各租戶指標涵蓋權杖速率、TTFT、ITL,以及快取與未快取的提示權杖。

    推薦理由:Buoyant 的 Kinference 在 vLLM 之上加入了 KV 快取感知負載平衡與 YAML 推論策略,基準測試聲稱相較於標準 Kubernetes 服務路由,在 TTFT 與有效吞吐量上有大幅提升。

  1. Epoch AI · Gradient Updates82

    Epoch AI 發現 GLM 5.3 能在用戶更新前,將已公開的 Firefox 修補程式轉化為可用的漏洞利用程式

    Epoch AI 報告指出,Z.ai 於八月發布的開放權重模型 GLM 5.3,能自主從 Mozilla 已公開但尚未推送給用戶的安全修補程式中建構出可用的漏洞利用程式,成功入侵 9 月 17 日至 10 月 26 日期間發布的全部六個 Firefox 版本。在約 10 萬美元的環境建置與 API 成本之後,每次成功攻擊的運算成本約為 1,000 美元,最快的一次嘗試在 48 小時的預算內耗時 12 小時。針對 Chrome 的類似攻擊並未成功,研究人員表示未觸發任何供應商的安全防護機制或拒絕回應;他們另外發現的一個未公開漏洞,已於 10 月 27 日的 Firefox 159.0 版本中修補。

    推薦理由:Epoch AI 的實驗顯示,開放權重模型能自主將已公開但尚未推送的 Firefox 修補程式武器化,為修補空窗期提供了具體的成本與時間數字。

  1. Anthropic Newsroom71

    Anthropic 將 Agent Skills 標準捐贈給 Agentic AI Foundation

    Anthropic 將 Agent Skills 捐贈給 Linux 基金會旗下的 Agentic AI Foundation(AAIF)。Agent Skills 是一項開放標準,用於賦予 AI 代理專門知識與工作流程。自 2025 年 12 月發布以來,已有超過 70 個代理平台整合該標準,包括 ChatGPT、Cursor、GitHub Copilot 和 VS Code,共發布 100 萬項技能,安裝次數接近 2.8 億次。此次捐贈涵蓋 Agent Skills 的名稱與標誌、GitHub 組織以及 agentskills.io 網域,並由 Anthropic、Google、OpenAI 等公司的工程師以個人身分維護,首席維護者為 David Soria Parra 和 Mahesh Murag。

    推薦理由:Anthropic 將其 Agent Skills 標準交給 Linux 基金會的 AAIF,與 MCP 同屬一個中立家園,讓社群對該規格的發展路線圖擁有正式話語權。

  1. Meta AI Research Blog88

    Meta 發布 Muse Spark Open,一個可在兩台 Mac Studio 上運行的 816B 開放權重多模態模型

    Meta 發布了 Muse Spark Open 的權重,這是一個原生多模態的開放權重模型,總參數 816B(活躍參數 42B),上下文視窗達 1M token,定位於程式編寫與代理式工作。它是同類模型中首個能在桌面上運行的模型,使用兩台 Apple M5 Ultra Mac Studio 搭配 MLX 框架;並可透過 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 與 Together AI 等 API 合作夥伴取得,權重則發布於 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden 與 Microsoft Foundry Models。Meta 表示,該模型隨附 SGLang 中可自動調校的 Helion GPU 核心,在 NVIDIA 與 AMD GPU 上帶來 1.03–3.95 倍的核心層級加速,在 AMD MI350 上則有 3% 的端到端加速。

    推薦理由:Meta 發布了一個 816B 參數多模態模型的開放權重,該模型可在兩台 Mac Studio 上運行,為開發者提供了針對長時程程式編寫與代理式任務的本地選項。

  1. Goodfire Research71

    Goodfire 在 Kimi K3 和 GLM 5.3 上訓練並部署基於探針的網路濫用監控器

    3 並將其部署到生產推理堆疊上,其中一個低成本的探針會過濾對話輪次,只有可疑的交流才會送到 LLM 評審。良性會話中斷率為 5%,在沒有評審推理的情況下每百萬輪次成本為 65 美元,有評審推理時為 185 美元,並且在 SGLang 內沒有可測量的吞吐量損失。

    推薦理由:Goodfire 展示了一種探針加評審的級聯方案,能以大約低 50 倍的成本監控代理式網路濫用,且沒有可測量的吞吐量損失,這是安全地提供開放模型服務的具體配方。

  1. OpenClaw Blog74

    Microsoft Autopilot 建構於 OpenClaw 之上,貢獻雙向流動

    Microsoft 推出 Autopilot,這是一款建構於 OpenClaw 之上的常駐個人代理,屬於其全新 Copilot 體驗的一部分,私人預覽將於本月底擴展至首批客戶。Autopilot 是 Microsoft Scout 的新名稱,後者於今年早些時候發布,Omar Shahine 的團隊表示正與 OpenClaw 及 OpenClaw Foundation 合作開發企業級執行環境。OpenClaw 重點介紹了 Microsoft 工程師的上游貢獻,包括政策合規檢查、原生 Windows 伴侶應用,以及針對背景任務、重新啟動和重複回覆的可靠性修復。

    推薦理由:Microsoft 的 Autopilot 建構於 OpenClaw 之上,此處列出的上游貢獻展示了共享代理執行環境如何跨平台改進。

  1. OpenClaw Blog60

    OpenClaw 新增選用式決策模型與共用 Plugin SDK 介面

    OpenClaw 支援另行設定的決策模型,其核心與外掛可透過 Plugin SDK 中的 api.runtime.decisions.evaluate 呼叫,回傳選項、分數或機率,而非聊天回覆。此功能為選用式,不會取代聊天模型,且各供應商套件仍在等待支援版本發布。TypeSafe 轉接器支援託管的 Jev 與本地的 System One 伺服器(例如 Jared Palmer 的 Kev),而評估工具正以 decision_evaluate 之名移入 OpenClaw 核心。

    推薦理由:OpenClaw 新增選用式決策模型層,可從應用程式碼回傳具型別的答案,並提供共用的 Plugin SDK 介面,讓外掛無須逐一整合各供應商即可使用。

  1. MiniMax Blog71

    MiniMax 發布 Music 3.0,一款可生成長達五分鐘完整歌曲的開放權重音樂生成模型

    MiniMax 推出 Music 3.0,這是一款開放權重音樂生成模型,能從創意概念與可選歌詞出發,單次生成即可作曲、編曲並製作長達五分鐘的完整歌曲。此流程將一個由 Qwen3.5-8B 初始化的 8B Global LLM 與一個 0.6B Local LLM 配對,融合兩者的連續隱藏狀態,用以調控一個 2.4B flow-matching 模組與一個 123M Flow-VAE,並採用八層 RVQ 以及隨時間描述情緒、樂器編制與演唱方式的 Structured Captions。MiniMax 表示,這能更準確地詮釋創作意圖、編曲更飽滿,人聲也更清晰自然。

    推薦理由:MiniMax 的架構拆解顯示,一個 8B 全域 LLM 搭配一個 0.6B 本地模型與 flow-matching 堆疊,如何針對長歌曲的連貫性問題。

  1. Modal Blog75

    Moonshot 的 Kimi K3 現已在 Modal 上線,並提供首日 vLLM 支援

    Modal 在 Moonshot 的 Kimi K3 發布當天,便於其平台上架這款 2.8 兆參數的多模態模型,透過按 token 計價的 Shared API 與專用 Auto Endpoints,提供 100 萬 token 的上下文視窗。Modal 表示,一款針對 K3 架構調校的客製化 DFlash 推測器,在代理式工作負載下,將互動性從每秒 100 個 token 提升至每秒 460 個 token,並將每顆 GPU 的吞吐量從 80 萬 TPM 提升至 150 萬 TPM。該模型採用混合專家設計,每個 token 啟用 896 個專家中的 16 個,而 Moonshot 在發布前也向 vLLM 貢獻了新的前綴快取實作。

    推薦理由:Modal 詳細說明它如何在發布當天將 Moonshot 的 2.8 兆參數 Kimi K3 上架至其平台,其中包括一款客製化 DFlash 推測器,可將互動性從每秒 100 個 token 提升至每秒 460 個 token。

  1. Modal Blog60

    Modal 推出 Auto Endpoints,提供自助式、相容 OpenAI API 的 LLM 推論服務

    Modal 推出 Auto Endpoints,這是一項自助式服務,可將生產級 LLM 推論部署為相容 OpenAI API 的端點,並由使用者可見且可控制的 Modal App 支援。每個支援的模型都附帶一個起始部署,該部署依據 Modal 自身的基準測試調校,使用 SGLang 等引擎以及來自 Z Lab 的 DFlash 推測解碼草稿器,使用者可以檢視 GPU 選擇、引擎旗標,以及 TTFT、ITL 和推測解碼接受長度等推論指標。Modal 也將 Modal Servers 從 beta 版釋出,提供延遲僅 5ms 的區域化路由,並表示其透過內部代理系統產生端點部署,且仍由人類工程師監控。

    推薦理由:Modal 的 Auto Endpoints 公開了託管推論供應商通常隱藏的服務堆疊、引擎指標和基準測試配方,為團隊提供一條自助途徑,以擁有開放模型的推論能力。

  1. Modal Blog60

    Modal 為 Qwen 3.5 與 3.6 發布 DFlash 推測器,聲稱可額外提速 5-20%

    Modal 在 Hugging Face 上發布了一系列針對 Qwen 系列的 DFlash 草稿模型,包括 Qwen 3.6 35B-A3B-DFlash 以及從 4B 到 122B-A10B 的 Qwen 3.5 變體,另外還有一個用 SGLang 構建的 Qwen 3.5 397B-A17B 的 DFlash 推測器。該公司表示,新的草稿模型比現有的 DFlash 基線額外提速 5-20%,並且可以在 B200 節點上以並發度 1 運行 Qwen 3.5 122B-A10B 達到超過 1000 tok/s,而無推測時為 250 tok/s。文章認為,在內核優化只能帶來幾個百分點提升的地方,推測解碼可帶來 2 倍至 3 倍的增益,並提出了一個用於根據接受長度估算加速比的 roofline 模型。

    推薦理由:Modal 解釋了為何押注推測解碼,並發布了針對 Qwen 系列的 DFlash 草稿模型,附帶實測加速數據和用於估算增益的 roofline 模型。

  1. MiniMax Blog87

    MiniMax M3 發布,具備 1M 上下文、前沿編碼與原生多模態能力

    MiniMax 發布 M3,這是一款開放權重模型,該公司稱其為首個結合前沿編碼與代理能力、1M token 上下文窗口,以及原生圖像與影片輸入的模型。M3 採用 MiniMax 新的 MSA 稀疏注意力架構,該公司報告稱,此架構在 1M 上下文下將每 token 計算量降至前一代的 1/20,並將預填充速度提升逾 9 倍、解碼速度提升逾 15 倍。它在 SWE-Bench Pro 上得分 59.0%、在 Terminal-Bench 2.1 上得分 66.0%、在 MCP Atlas 上得分 74.2%,並可透過 MiniMax Code、Token Plan 與 API 使用,權重與技術報告承諾在 10 天內發布。

    推薦理由:MiniMax M3 將 1M token 上下文、前沿編碼與代理得分,以及原生圖像與影片輸入結合於一個開放權重模型中,並以 MSA 在長上下文下降低每 token 計算量。

  1. Modal Blog78

    Modal 上線 GLM-5 免費端點並發布自部署與前端接入指南

    Modal 推出 GLM-5 的免費 OpenAI API 相容端點,可用至 4 月底,限單個並發請求,同時發布在單節點 8 張 B200 上用 SGLang 部署的可重現程式碼。

    推薦理由:Modal 為 Z.ai 的 GLM-5 提供免費 OpenAI 相容端點,並給出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具體配置。

已經到底了