跳至正文
11月13日星期五
  1. OpenClaw Blog20

    OpenClaw 將 Claw Hack 黑客松與 ClawCon 帶到深圳

    OpenClaw 將於 2026 年 12 月 4 日至 6 日在深圳舉辦為期三天的 Claw Hack 黑客松與 ClawCon 大會,這是繼上海場之後的活動。Claw Hack 涵蓋軟體與硬體賽道,合作硬體包括 M5Stack、Seeed Studio 的 reBot Arm B601 與 Pamir,報名截止日期為 11 月 25 日。ClawCon 於 12 月 6 日舉行,議程包括開源 AI、開放權重模型,以及在本地與雲端運行代理的演講。

  2. Hacker News · AI22

    TimeNet Challenge:時間序列 AI 線上黑客松

    TimeNet Challenge 是一場線上黑客松,要求 2–4 人組隊,以 TimeNet 格式導入時間序列資料集,並訓練或微調 Temporal AI Model(如 OpenTSLM),用於預測、分類、異常偵測或推理等任務。第一輪於 11 月 11 日啟動,11 月 22 日太平洋標準時間晚上 11:59 截止,後續還有更多輪次。Nebius 每輪為每隊提供 100 美元或 500 美元代金券,獲勝隊伍可獲得 AWS 和 Google Cloud 提供、起價 25,000 美元的獎金抵用額度。

  3. Hacker News · AI22

    Open Source Initiative 舉辦開源 AI 沙龍,探討 OSAID 的未來

    Open Source Initiative 發起了開源 AI 沙龍,這是一系列社群活動,旨在檢視開源 AI 定義(OSAID 1.0)在實務中的適用方式,首場聚會分別在羅利與巴塞隆納舉行。與會者一致認為四項自由必須被保留,而訓練資料的透明度仍是最大的瓶頸,與此同時 Hugging Face 的模型數量從 2024 年的大約一百萬個成長到今日超過三百萬個。

  4. Databricks Blog36

    Bright Machines 運用 Debezium 與 Iceberg,讓客戶從氣隙隔離工廠取得即時儀表板

    Bright Machines 現在能讓客戶取得來自氣隙隔離工廠的即時、受治理的工廠資料儀表板,且無需開放任何 inbound 存取。它在邊緣端以 Debezium 擷取 PostgreSQL 變更,寫入為 Apache Iceberg,透過單一可稽核的 outbound 路徑推送出去,並在 Databricks 中透過 Unity Catalog federation 就地讀取。第一個客戶可見的儀表板在啟動後約兩個月上線,已提交的資料列可在一到兩分鐘內查詢,儀表板每十分鐘重新整理。

  5. AWS Machine Learning Blog58

    AWS 發布 SGLang-Neuron,可在 Trainium 上以原有 SGLang 介面部署前沿模型

    Amazon 宣布 SGLang-Neuron 正式公開可用,這是一個 out-of-tree 外掛,透過 AWS Deep Learning Container 在 AWS Trainium 上執行 SGLang,由 RadixArk 與 Annapurna Labs 發布。使用者維持相同的 SGLang 伺服器介面與生成 API,而此外掛提供 Trainium 專屬的模型、注意力、MoE,以及建構於原生 PyTorch 與 NKI 核心之上、以 torch.compile 編譯的 graph runner。它也支援 PD 分離,透過 EFA 上的 NIXL 將 prefill KV 快取傳輸到 decode 伺服器,而操作說明則在 Trainium3 EC2 執行個體上以 pytorch-inference-sglang-neuronx 容器提供 openai/gpt-oss-120b 的服務。

  6. MarkTechPost68

    CopilotKit 發布 OpenBot 1.0,一個 MIT 授權、可自架且內建治理機制的 AI 協作夥伴

    CopilotKit 於 11 月 9 日發布 OpenBot 1.0,這是一個 MIT 授權、可自架的代理工作空間,團隊可自帶模型、代理與基礎設施。每一次瀏覽器點擊、檔案寫入、MCP 工具呼叫與元件,都會先經過治理閘道,由它評估 CEL 政策並在執行前寫入稽核紀錄,拒絕規則優先執行,規則出錯時則以失敗關閉(fail closed)處理。此版本新增 Mac 與 Windows 桌面應用程式、可將錄製的任務轉為可重複使用技能的 Learning 功能、透過 Composio 與 Arcade 支援多帳號,以及 Bot 對 Bot 的協作編排;個人使用免費,OpenBot for Business 每位活躍使用者每月最高 29 美元。

  7. TechCrunch · AI78

    黃仁勳辭去Nvidia執行長職務,引發外界對Nvidia開源支援的疑慮

    Nvidia執行長黃仁勳於週四辭職,此前他承認與一名據稱是中國間諜的女子有婚外情,這使得Nvidia是否會繼續支持開放權重AI成為未知數。黃仁勳曾推動Nemotron開放權重模型系列,支持Reflection AI和Thinking Machines Lab等新創公司,並組織了一封由25家公司簽署的公開信,敦促華盛頓不要過度限制開放模型。Nvidia已任命財務長Colette Kress為臨時執行長,且尚未敲定以130億美元收購Hugging Face的交易。

    同一件事,精選收錄的是《NVIDIA Announces CEO Transition as Jensen Huang Resigns, Colette Kress Named Interim CEO》

  8. AWS Machine Learning Blog66

    AWS 更新 AgentCore 執行環境:工作階段啟動速度提升 15 倍、運算資源增加 4 倍

    AWS 宣布更新 Amazon Bedrock AgentCore 執行環境,這是其用於代理程式的受管運算層,工作階段現在啟動速度最高提升 15 倍,可擴展至 4 倍運算資源(最高 8 個 vCPU 與 32 GB,容器映像最高 10 GB),執行效率最高提升 68%,同時每個工作階段仍維持在各自硬體隔離的 Firecracker MicroVM 中。無論映像大小或並行數量,工作階段皆在 2 秒內啟動,閒置代理程式會縮減至零,代理程式可掛載檔案系統並將工作儲存至 Amazon S3 儲存貯體等位置,支援 FUSE,讓資料留在信任邊界內。此執行環境即日起在北美、南美、歐洲與亞太地區的 AWS 區域提供。

    推薦理由:AgentCore 執行環境的新版本同時調整了工作階段啟動、算力上限與記憶體計費,為需要長時間執行的智慧代理提供了隔離與成本之間的新取捨。

  9. TechCrunch · AI62

    Hugging Face 執行長誓言在黃仁勳離職後繼續為開源 AI 奮戰

    Hugging Face 執行長 Clément Delangue 表示,在 Nvidia 執行長黃仁勳離職後,他將「比以往更努力」為開源 AI 奮戰,並稱這是「非常悲傷的一天」。Nvidia 於 9 月宣布一項 129 億美元的計畫,擬收購 Hugging Face,該交易因競爭疑慮正遭美國司法部詢問,目前仍預定於 2027 年上半年完成。黃仁勳一直是開放權重模型的知名倡導者,包括 7 月一封由 25 家公司簽署、敦促美國政府不要過度限制此類模型的政策信函。

  10. AWS Machine Learning Blog40

    AWS 開放其創新中心 23 項可重複使用的生成式 AI 資產目錄

    AWS 發布了一份目錄,收錄來自其生成式 AI 創新中心(現隸屬於 AWS Frontier AI Engineering & Services)的 23 項可投入生產的開源生成式 AI 資產。這些建構模組涵蓋 RAG 流程、文件處理器、代理程式骨架與評估框架,AWS 表示它們能將開發時間從數月縮短至數週。DoorDash 回報測試能力提升 50 倍,Ricoh 則在採用這些資產後回報吞吐量提升 7 倍。

11月12日星期四
  1. vLLM Blog60

    vLLM 新增對 Thinking Machines 的 Inkling 2 Small 的 day-0 支援

    vLLM 在 day 0 支援 Thinking Machines 的 Inkling 2 Small,這是一個多模態文字與視覺 MoE,總參數 594B、活躍參數 17B,上下文最多可達 1M 個 token。此整合加入了搭配 PDL 的核心融合、用於 prefill 的序列平行,在 TP4 下將 8K token 的 prefill 步驟縮短 22%,TP8 下縮短 26%,以及一個 Gluon 相對注意力解碼核心,將 100K 上下文下 batch-1 的解碼步驟從 15.1 ms 降至 4.8 ms。vLLM 回報在 GB200 上 TP4 時可達每使用者最高 630 TPS,接受長度 3.5,並且也透過 SkyRL 支援 LoRA 與 RL。

    推薦理由:vLLM 在發布當天即支援 Inkling 2 Small,並給出核心融合、序列平行和 Gluon 解碼核心的具體優化數據,可供部署大型 MoE 模型的團隊參考。

  2. vLLM Blog64

    vLLM-Omni 在 Vera Rubin 上對 MiniMax H3-Image 進行基準測試:0.87 秒生成 4K 影像,每小時 6,115 張影像

    vLLM-Omni 將 MiniMax H3-Image 帶到 NVIDIA Vera Rubin,並測得在四張 GPU 上進行原生 4096×4096 文字轉圖像的中位延遲為 0.87 秒,另在獨立吞吐配置下達到每小時 6,115 張影像。H3-Image 是一個開放權重的文字轉圖像與編輯模型,結合 Qwen3-VL 編碼器、33.1B 稠密 DiT 與影像 VAE,以六個取樣步驟處理這兩項任務,並支援最多 16 張參考影像。團隊報告了 MXFP8 DiT GEMM、Ulysses SP4、AdaLN 快取,以及一項將解碼時間從 2.635 秒縮短至 0.213 秒的 VAE 解碼變更,並列出 AMD、Intel、華為昇騰與摩爾線程硬體的配置方案。

    推薦理由:vLLM-Omni 的基準測試顯示 MiniMax H3-Image 在 Vera Rubin 上以不到一秒的 4K 延遲運行,並附有各硬體配置與服務經濟性的成本模型。

  3. Epoch AI · Gradient Updates64

    Epoch 簡報:GLM 5.3 自主利用修補缺口打造 Firefox 漏洞利用程式,每個約 1,000 美元

    Epoch AI 研究人員報告,在離線沙箱實驗中,開放權重模型 GLM 5.3 自主攻破了六個近期版本的 Firefox(一款擁有超過 2 億活躍使用者的瀏覽器),方法是從尚未送達使用者的修補程式反向工程出攻擊手法,每個漏洞利用程式成本約 1,000 美元。該模型建構出能讀取訪客電腦檔案並在無需人工輸入的情況下將其傳送給攻擊者的網頁;團隊無法用 Chrome 重現此結果。同一份簡報指出,11 月 9 日發布的 Anthropic Claude Fable 5.2 創下 Epoch Capabilities Index 新紀錄 174,高於 GPT-6 Astra 的 169。

  4. Mastra Blog40

    Mastra Agents 私有模型閘道,支援自架模型

    Mastra 新增私有模型閘道,讓 agent 能將請求路由到自架的開放權重模型,並以 private/ollama/gpt-oss:20b 這類前綴來引用。自架可讓敏感資料留在網路內部,並以基礎設施成本取代按 token 計費的成本;設定 AUTO_BLOCK_EXTERNAL_PROVIDERS=true 可在 Studio 中隱藏外部供應商。此功能需要 @mastra/core@1.82.0 或更新版本。

11月11日星期三
  1. Modal Blog58

    Modal 加入 gVisor 維護者行列,Google 將該專案捐贈給 CNCF

    Modal 是加入 gVisor 維護者行列的三家公司之一,另外兩家是 Ant Group 和 Tines;與此同時,Google 將該專案及其商標捐贈給 CNCF,並採用維護者主導的治理模式。Modal 表示,該公司每天啟動多達 4,000 萬個 gVisor 容器,並自 2023 年起持續向上游貢獻,包括 nvproxy GPU 支援、名為 rdmaproxy 的 RDMA 裝置代理,以及 tmpfs 和記憶體配置器最佳化。該公司表示,目前正為 gVisor 開發多 GPU 記憶體快照與 GPUDirect Storage 支援。

  2. vLLM Blog58

    vLLM 為多模態服務新增編碼器解耦,支援 EPD

    vLLM 擴展了用於多模態服務的編碼器/預填充/解碼(EPD)解耦,新增僅中繼資料請求、專用編碼器執行路徑、透過 NIXL 與 Mooncake 進行遠端嵌入傳輸、跨編碼器輸出重用,以及透過 vLLM Router、SMG 和 llm-d 進行編排。包括 MiMo 和 XPU 支援在內的核心能力隨 vLLM v0.32.0 發布,而針對 DeepSeek V4.1 Flash 的僅中繼資料支援則透過 #62802 在 main 上提供。在 GB200 上進行的 DeepSeek V4.1 Flash 測試中,EPD 在並行度 64–128 時,每 GPU 吞吐量比八 GPU PD 基線高 6.6–9.5%,P90 TTFT 低 44–47%,但在並行度 16 時每 GPU 吞吐量較低。

  3. Meta Engineering Blog58

    Meta 解釋 TLX:為生產環境 ML 打造、硬體原生的 GPU 編譯器擴充,延伸 Triton

    Meta 詳細說明 TLX(Triton Low-Level Extensions),這是 Triton 的擴充,加入明確的 warp-group 與 cluster 層級編排,同時保留 Triton 的張量程式設計模型。TLX 已在 Meta 全面投入生產環境運行,在數千顆 NVIDIA Blackwell GPU 上為 GEM 訓練達到 20-25% 端到端 MFU,為 RecSys 推論將運算密集型網路延遲最多降低三分之二,並有一個分散式分組 GEMM 核心部署於大規模 LLM 預訓練。Meta 表示 TLX 鎖定 NVIDIA Hopper 與 Blackwell,以及 AMD Mi300 與 Mi350x,並正著手支援更多架構、自動 warp-group 推論與 torch.compile 後端。

  4. NVIDIA Blog60

    NVIDIA 將 OpenShell 代理執行環境貢獻給 CNCF,並新增 DSX Kubernetes 工具

    NVIDIA 將其用於保護與治理自主代理的開源執行環境 OpenShell 貢獻給雲原生運算基金會,成為沙箱專案,同時也對 Google 主導的 Agent Substrate 做出貢獻。NVIDIA 宣布三項新的 DSX AI Factory 平台元件:NVIDIA Kubernetes Engine 與 NVIDIA Kubernetes Recipes(現已進入公開預覽),以及 NVIDIA Snapshot,可在數秒內還原檢查點副本,無需重新載入模型或暖機。Crusoe 在 Crusoe Cloud 上測試 GLM-5.3,將工作負載就緒時間從約八分鐘縮短至 31 秒,而 Saturn Cloud 則將 vLLM 啟動時間從 2 到 8.5 分鐘縮短至 6 分 34 秒。

    推薦理由:NVIDIA 將其代理安全執行環境 OpenShell 貢獻給 CNCF,並為 GPU AI 工廠新增 Kubernetes 工具,早期的 Snapshot 成果將推論啟動時間從數分鐘縮短至數秒。

11月10日星期二
  1. The Pragmatic Engineer22

    軟體正確性與供應鏈安全:與 Sean Allen 的對話

    The Pragmatic Engineer 採訪 Antithesis 的傑出工程師、Pony 語言核心貢獻者 Sean Allen,討論軟體正確性與供應鏈安全。Allen 主張,ML 語言家族的強型別系統在編譯期能比 ALGOL 家族語言捕捉更多錯誤,而手動測試是確保正確性最差的方式。他也表示,供應鏈攻擊沒有單一的簡單解法,因為像 'E' 這樣有穩健防禦的語言並不流行,而流行的語言則假設生態系統值得信賴。

  2. LangChain Blog59

    Stripe 如何在一週內用 Deep Agents 打造 Kai

    Stripe 以 LangChain 的開源 Deep Agents 框架打造了全公司通用的知識 AI 平台 Kai,由一位工程師在一週內完成初版。這套技術堆疊在 Deep Agents 之上疊加了 Stripe 專屬的框架與配置層,採用由 S3 支撐的檔案系統中介軟體、用於執行程式碼的沙箱中介軟體、用於長時間工作階段的摘要中介軟體,以及橫跨 500 多個內部 MCP 工具與 1,000 多項技能的基於技能的動態工具載入機制。Kai 在大約四週內從 296 名使用者成長到超過 5,000 名,如今 Stripe 有 83% 的人每週使用,累計超過 6 萬個工作階段。

  3. Meta Engineering Blog40

    Meta 以廠商中立的加速器外掛架構擴充 LLDB,實現 CPU-GPU 除錯

    Meta 在 lldb-server 中建構了一套廠商中立的加速器外掛架構,讓 LLDB 能在單一工作階段中除錯橫跨 CPU 與 GPU 的應用程式。此設計將 CPU 與 GPU 表示為各自獨立的 LLDB target,各自擁有架構、執行緒、暫存器與位址空間,並由外掛將廠商的裝置除錯 API 轉譯為 LLDB 概念。GPU 支援僅在應用程式使用受支援的 GPU runtime 時才會啟用,因此純 CPU 除錯仍走既有的原生路徑,不會增加額外負擔。

  4. Goodfire Research62

    Goodfire 研究 Qwen3.6-35B-A3B 神經元作為可解釋基礎

    Goodfire Research 發表一項研究,主張 Qwen3.6-35B-A3B 中的個別 MLP 神經元比一般假設更具可解釋性,其依據來自稀疏化、歸因工具與研究代理。每次前向傳播中消融最弱的 92.2% MoE 神經元活化,語言模型損失僅上升 2.9%,且 69% 的神經元極點有單一模式對其因果效應貢獻至少 90%。自然語言的神經元描述讓評審模型在對抗隨機文本時以 95% 準確率預測激發,並透過模擬恢復 73% 的消融損害。

    推薦理由:Goodfire 對 Qwen3.6-35B-A3B 神經元的研究主張,僅靠強活化就承載了模型的大部分計算,為特徵字典可解釋性提供了一個具體的替代方案。

11月9日星期一
  1. Preferred Networks News55

    Preferred Networks 以開放權重發布 PLaMo 3.0 Fin 金融專用小語言模型

    Preferred Networks 發布 PLaMo 3.0 Fin,這是一款金融專用小語言模型,建構於與 NICT 共同研究中開發的 PLaMo 3 NICT 預訓練模型,並進一步以日本金融資料訓練,在 Hugging Face 上依 PLaMo Community License 發布開放權重。該模型新增逐步推理(Reasoning)功能,推理過程以日文輸出,並支援工具呼叫,可進行網頁搜尋、計算及內部資料庫存取,且能在封閉雲端或地端環境的單一 GPU 上執行。PFN 表示,推理與工具使用的指令遵循訓練是在自家 MN-Core 2 AI 晶片上完成,程式碼移植在一週內完成,訓練速度與 GPU 環境相當。

  2. Artificial Analysis Articles58

    Artificial Analysis 發布 Endpoint Accuracy Index v1.1,收緊長上下文區間並涵蓋六個模型

    Artificial Analysis 推出 Endpoint Accuracy Index v1.1,收緊了 AA-LCR-25 的信賴區間,並新增對 GLM-5.3 Flash 與 Muse Spark Open 的涵蓋。在受測的 103 個無伺服器端點中,有 24 個在統計上低於自架參考,原因包括輸出 token 上限、推理能力降低、工具呼叫格式錯誤與請求逾時。將 AA-LCR-25 提高至每題 25 次重複,使其平均 95% 信賴區間從 ±4.7 點收窄至 ±2.6 點,而在兩個版本下皆計分的 45 個端點上,綜合指數區間從 ±5.5 點收窄至 ±4.3 點。

11月8日星期日
  1. Recode China AI22

    Apple 在中國的 Apple Intelligence 中測試 Qwen,同時騰訊為 Hy4 加入視覺能力

    Apple 本週在中國的 Apple Intelligence 中開始對 Qwen 進行開發者測試,為計劃於 12 月隨 iOS 27.3 推出的正式版本做準備,將以選擇加入的方式把 Qwen 引入 Siri、Writing Tools 和 Visual Intelligence。騰訊 11 月 4 日發布的 Hy4 新增視覺推理與電腦操作能力,而百度、Moonshot、螞蟻集團和美團也發布或推出了新模型。

11月6日星期五
  1. vLLM Blog58

    vLLM 將其 CUDA 建置遷移至 LibTorch Stable ABI

    vLLM 已將其 CUDA 建置遷移至 LibTorch Stable ABI,自 v0.33.0 起發布 LibTorch ABI Stable CUDA wheels,因此新的 PyTorch wheel 無需重新建置 vLLM 即可匯入。團隊將 in-tree 原始碼與七個依賴 LibTorch 的相依套件(包括 FlashMLA、DeepGEMM 與 FlashAttention-2/3)遷移至穩定 API,並在 CI 中使用 torch-abi-audit 確認不再殘留不穩定符號。文章指出取捨,例如穩定 API 子集有限與少量主機端額外開銷,並表示 CPU 與 ROCm 建置將是下一步。

  2. OpenClaw Blog50

    OpenClaw 新增自動更新模型目錄,新模型無需更新應用程式即可使用

    OpenClaw 重建了模型探索機制,讓 GPT-6.1 Sol 等新模型無需發布新版本即可出現,改為從 catalog.openclaw.ai 的自動更新目錄(每四小時重建一次,約 1,000 個模型)、各帳號自身的供應商模型清單,以及與 PATH 上較新版本 Codex 的握手來取得清單。此目錄可在執行中的 Gateway 上即時切換,且供應商逾時或目錄替換後,模型清單不再縮減。

  3. Newcomer22

    Newcomer 與 Felicis 推出 Emergent:一份由創辦人提名的 29 家種子期 AI 新創名單

    Newcomer 與 Felicis 發布 Emergent,這是一份涵蓋 29 家種子期或更早期新創公司的名單,由 Cerebral Valley AI Summits 的現任與前任創辦人講者提名,認為這些公司具備世代級潛力。每家公司均以種子輪為上限,並附上提名者的簡短評語。其中最大的群體是打造運行與控制代理的工具,硬體、開源與 AI 原生服務也同樣突出。

  4. SemiAnalysis75

    SemiAnalysis 在代理式推論上以 Google TPUv7 Ironwood 對 NVIDIA GPU 進行基準測試

    SemiAnalysis 在 InferenceX/AgentX 上發布了首個針對 Google TPUv7 Ironwood 的長上下文、多輪代理式推論結果,涵蓋四個模型,發現其在每美元效能上具競爭力,或在若干情況下達到最先進水準。在 FP8 的 GLM-5.2 上,TPUv7 在每秒每使用者 60 至 300 個 token 的範圍內,每美元 token 數達到 B200、B300 和 MI355X 的 1.2 倍至 2.7 倍,而 FP4 GPU 在 GLM-5.3 上仍領先,因為 TPUv7 要到 2027 年第一季的 TPUv8 才具備原生 FP4 支援。文章還主張,與 AMD 和 Google 相比,NVIDIA 的官僚作風拖慢了驅動程式和生態系統的貢獻。

  5. OpenClaw Blog69

    OpenClaw 推出多人模式,支援共享 Agent 與上下文

    OpenClaw 已推出 Multiplayer,這是一項免費且開源的功能,讓多個人可以連接到同一個 OpenClaw Agent 和工作區,提示會即時顯示在各自的筆記型電腦上,請求則透過共享佇列進行協調。在舊金山 GitHub Universe 的演示中,兩位與會者分別在各自的機器上輸入提示,共同編輯同一個 3D 場景,而無需重新陳述上下文。OpenClaw 基金會表示,已有 50 多人在同一個共享環境中協作,並將持續擴展這項功能。

    推薦理由:OpenClaw 將多人共享同一 Agent 與上下文做成免費開源功能,為團隊協作中反覆重建上下文的問題提供了一種可遷移的做法。

11月5日星期四
  1. Mastra Blog38

    Mastra 推出 Custom Harness 計畫,配置嵌入式前線部署工程師

    Mastra 推出 Custom Harness 計畫,由前線部署工程師進駐客戶團隊,共同打造量身訂製的 agent harness。該計畫涵蓋可觀測性、evals、自訂 MCP、human-in-the-loop 工作流程、驗證與 RBAC,並可優先使用 Mastra Enterprise Platform。Mastra 以 Workday 為例,該公司在 31 天內從 Amazon Bedrock Agents 遷移,減少 3,000 行程式碼,並將向量儲存成本降低 98%。

11月4日星期三
  1. Ai2 · Allen Institute for AI38

    Ai2 與 Google 合作開發 NeuralGCM+ 氣候模型

    Ai2 啟動了一項氣候模擬計畫,由 Google.org 提供三年資金、Google Research 提供技術支援,以開發開源模型 NeuralGCM+,用於更快、更可靠地進行氣候推估。此專案延伸自 Google Research 的 NeuralGCM,該模型將大尺度動力學的物理方程式與雲層形成、降雨等較小尺度過程的 AI 結合,以同時模擬大氣與海洋。Ai2 的目標是降低過去 50 年區域氣溫與降雨的誤差,並對外發布模型與框架,附上可供外部研究人員參考的工作流程文件。

  2. vLLM Blog73

    Buoyant 發布 Kinference,一個針對 vLLM 與 Kubernetes 的開源推論控制平面

    Buoyant 宣布推出 Kinference,這是一個 Apache v2 開源控制平面,可將相容於 OpenAI 與 Anthropic 的推論流量路由至 Kubernetes 上的 vLLM 工作節點,並加入權杖速率限制、各租戶用量與成本追蹤、KV 快取感知負載平衡,以及 YAML 推論策略。在該專案的公開基準測試中,Kinference 在單一工作負載上,相較於標準 Kubernetes 服務負載平衡,將中位數首字延遲降低了 95%,中位數端到端延遲降低了 45%;在容量測試中,於共享前綴情境下提供 7.4 倍的有效吞吐量,於多輪對話情境下約提供 3.5 倍。策略可將較簡單的提示路由至較便宜的模型、將突發溢流導向 Bedrock 與 Databricks 等供應商,或將標記為 PII 的請求保留在叢集內;各租戶指標涵蓋權杖速率、TTFT、ITL,以及快取與未快取的提示權杖。

    推薦理由:Buoyant 的 Kinference 在 vLLM 之上加入了 KV 快取感知負載平衡與 YAML 推論策略,基準測試聲稱相較於標準 Kubernetes 服務路由,在 TTFT 與有效吞吐量上有大幅提升。

11月2日星期一
  1. Zyphra Research58

    Zyphra 推出 ZHA 分層注意力,一種具備次二次路由的稀疏方法

    Zyphra 推出了 Zyphra Hierarchical Attention(ZHA),這是一種稀疏注意力方法,它建立一棵由壓縮 KV-cache 摘要構成的樹,並讓查詢自上而下地穿過這棵樹進行路由,在合適的 top-p 閾值下可達到次二次複雜度。現有的預訓練模型可以透過一個短暫的 KL 蒸餾階段進行適配,僅需使用數十億個 token;在 Qwen3.6-35B-A3B 上,ZHA 增加了 81,920 個可訓練參數,約占基礎模型的 0.00024%。在 256K token 的 RULER-13 上,寬樹模型得分為 96.2%,而稠密注意力為 96.0%;深層六級樹在 LongBench v2 上得分為 63.4%,而稠密注意力為 58.0%,同時僅關注約 1.1% 的 KV cache;一個 GPU roofline 模型預測,在 10M token 時相比稠密注意力可實現 32-35 倍加速。

  2. Ai2 · Allen Institute for AI32

    Olmo 3 如何獲得 Nextcloud 最高倫理 AI 評級

    Ai2 的 Olmo 3 獲得 Nextcloud 最高倫理 AI 評級「綠色」,該評級要求開源訓練與推論軟體、可自行託管的已訓練模型,以及公開可用的訓練資料。Nextcloud 將 Olmo 3 與其 llm2 本地 LLM 後端綁定,並選擇 7B 版本,讓沒有 16 或 32 GB VRAM 的使用者仍能獲得良好的開箱即用本地體驗。

11月1日星期日
  1. Sakana AI Blog40

    Sakana AI 研討會:Jürgen Schmidhuber 談 AI 的過去與未來,日本進軍語言模型、世界模型與實體 AI

    Sakana AI 於 2026 年 10 月 26 日在東京舉辦「從世界模型到真實世界 AI」研討會,首席科學顧問 Jürgen Schmidhuber 發表主題演講,Sakana AI 並宣布將開發自家預訓練語言模型系列 Sakana Sawara(暫定名稱)。首個小型模型 Sawara Small(暫定名稱)若開發順利,計畫於 2027 年春季發布。超過 400 人參與此次活動,會中還安排了 Schmidhuber 與執行長 David Ha 的對談。

10月30日星期五
  1. Epoch AI · Gradient Updates82

    Epoch AI 發現 GLM 5.3 能在用戶更新前,將已公開的 Firefox 修補程式轉化為可用的漏洞利用程式

    Epoch AI 報告指出,Z.ai 於八月發布的開放權重模型 GLM 5.3,能自主從 Mozilla 已公開但尚未推送給用戶的安全修補程式中建構出可用的漏洞利用程式,成功入侵 9 月 17 日至 10 月 26 日期間發布的全部六個 Firefox 版本。在約 10 萬美元的環境建置與 API 成本之後,每次成功攻擊的運算成本約為 1,000 美元,最快的一次嘗試在 48 小時的預算內耗時 12 小時。針對 Chrome 的類似攻擊並未成功,研究人員表示未觸發任何供應商的安全防護機制或拒絕回應;他們另外發現的一個未公開漏洞,已於 10 月 27 日的 Firefox 159.0 版本中修補。

    推薦理由:Epoch AI 的實驗顯示,開放權重模型能自主將已公開但尚未推送的 Firefox 修補程式武器化,為修補空窗期提供了具體的成本與時間數字。

10月29日星期四
  1. Meta Newsroom · AI22

    Meta與五所美國大學合作,加速醫學與科學突破

    Meta正與五所美國大學合作——加州理工學院、俄亥俄州立大學醫學院、路易斯安那州立大學、印第安納大學與UTHealth Houston——並提供200萬美元,支持利用其模型在醫學、物理、化學、生物、電腦科學與數學領域的研究。項目包括一個基於Meta開放權重SAM模型構建的電腦視覺系統,用於檢測嬰兒氣管導管移位;多模態AI幫助對話代理適應失智症患者;以及從常規CT掃描與醫療記錄預測心臟衰竭風險的開放權重模型。