跳至正文
11月13日星期五
  1. OpenClaw Blog20

    OpenClaw 將 Claw Hack 黑客松與 ClawCon 帶到深圳

    OpenClaw 將於 2026 年 12 月 4 日至 6 日在深圳舉辦為期三天的 Claw Hack 黑客松與 ClawCon 大會,這是繼上海場之後的活動。Claw Hack 涵蓋軟體與硬體賽道,合作硬體包括 M5Stack、Seeed Studio 的 reBot Arm B601 與 Pamir,報名截止日期為 11 月 25 日。ClawCon 於 12 月 6 日舉行,議程包括開源 AI、開放權重模型,以及在本地與雲端運行代理的演講。

  2. Databricks Blog36

    Bright Machines 運用 Debezium 與 Iceberg,讓客戶從氣隙隔離工廠取得即時儀表板

    Bright Machines 現在能讓客戶取得來自氣隙隔離工廠的即時、受治理的工廠資料儀表板,且無需開放任何 inbound 存取。它在邊緣端以 Debezium 擷取 PostgreSQL 變更,寫入為 Apache Iceberg,透過單一可稽核的 outbound 路徑推送出去,並在 Databricks 中透過 Unity Catalog federation 就地讀取。第一個客戶可見的儀表板在啟動後約兩個月上線,已提交的資料列可在一到兩分鐘內查詢,儀表板每十分鐘重新整理。

  3. AWS Machine Learning Blog58

    AWS 發布 SGLang-Neuron,可在 Trainium 上以原有 SGLang 介面部署前沿模型

    Amazon 宣布 SGLang-Neuron 正式公開可用,這是一個 out-of-tree 外掛,透過 AWS Deep Learning Container 在 AWS Trainium 上執行 SGLang,由 RadixArk 與 Annapurna Labs 發布。使用者維持相同的 SGLang 伺服器介面與生成 API,而此外掛提供 Trainium 專屬的模型、注意力、MoE,以及建構於原生 PyTorch 與 NKI 核心之上、以 torch.compile 編譯的 graph runner。它也支援 PD 分離,透過 EFA 上的 NIXL 將 prefill KV 快取傳輸到 decode 伺服器,而操作說明則在 Trainium3 EC2 執行個體上以 pytorch-inference-sglang-neuronx 容器提供 openai/gpt-oss-120b 的服務。

  4. AWS Machine Learning Blog66

    AWS 更新 AgentCore 執行環境:工作階段啟動速度提升 15 倍、運算資源增加 4 倍

    AWS 宣布更新 Amazon Bedrock AgentCore 執行環境,這是其用於代理程式的受管運算層,工作階段現在啟動速度最高提升 15 倍,可擴展至 4 倍運算資源(最高 8 個 vCPU 與 32 GB,容器映像最高 10 GB),執行效率最高提升 68%,同時每個工作階段仍維持在各自硬體隔離的 Firecracker MicroVM 中。無論映像大小或並行數量,工作階段皆在 2 秒內啟動,閒置代理程式會縮減至零,代理程式可掛載檔案系統並將工作儲存至 Amazon S3 儲存貯體等位置,支援 FUSE,讓資料留在信任邊界內。此執行環境即日起在北美、南美、歐洲與亞太地區的 AWS 區域提供。

    推薦理由:AgentCore 執行環境的新版本同時調整了工作階段啟動、算力上限與記憶體計費,為需要長時間執行的智慧代理提供了隔離與成本之間的新取捨。

  5. AWS Machine Learning Blog40

    AWS 開放其創新中心 23 項可重複使用的生成式 AI 資產目錄

    AWS 發布了一份目錄,收錄來自其生成式 AI 創新中心(現隸屬於 AWS Frontier AI Engineering & Services)的 23 項可投入生產的開源生成式 AI 資產。這些建構模組涵蓋 RAG 流程、文件處理器、代理程式骨架與評估框架,AWS 表示它們能將開發時間從數月縮短至數週。DoorDash 回報測試能力提升 50 倍,Ricoh 則在採用這些資產後回報吞吐量提升 7 倍。

11月12日星期四
  1. vLLM Blog60

    vLLM 新增對 Thinking Machines 的 Inkling 2 Small 的 day-0 支援

    vLLM 在 day 0 支援 Thinking Machines 的 Inkling 2 Small,這是一個多模態文字與視覺 MoE,總參數 594B、活躍參數 17B,上下文最多可達 1M 個 token。此整合加入了搭配 PDL 的核心融合、用於 prefill 的序列平行,在 TP4 下將 8K token 的 prefill 步驟縮短 22%,TP8 下縮短 26%,以及一個 Gluon 相對注意力解碼核心,將 100K 上下文下 batch-1 的解碼步驟從 15.1 ms 降至 4.8 ms。vLLM 回報在 GB200 上 TP4 時可達每使用者最高 630 TPS,接受長度 3.5,並且也透過 SkyRL 支援 LoRA 與 RL。

    推薦理由:vLLM 在發布當天即支援 Inkling 2 Small,並給出核心融合、序列平行和 Gluon 解碼核心的具體優化數據,可供部署大型 MoE 模型的團隊參考。

  2. vLLM Blog64

    vLLM-Omni 在 Vera Rubin 上對 MiniMax H3-Image 進行基準測試:0.87 秒生成 4K 影像,每小時 6,115 張影像

    vLLM-Omni 將 MiniMax H3-Image 帶到 NVIDIA Vera Rubin,並測得在四張 GPU 上進行原生 4096×4096 文字轉圖像的中位延遲為 0.87 秒,另在獨立吞吐配置下達到每小時 6,115 張影像。H3-Image 是一個開放權重的文字轉圖像與編輯模型,結合 Qwen3-VL 編碼器、33.1B 稠密 DiT 與影像 VAE,以六個取樣步驟處理這兩項任務,並支援最多 16 張參考影像。團隊報告了 MXFP8 DiT GEMM、Ulysses SP4、AdaLN 快取,以及一項將解碼時間從 2.635 秒縮短至 0.213 秒的 VAE 解碼變更,並列出 AMD、Intel、華為昇騰與摩爾線程硬體的配置方案。

    推薦理由:vLLM-Omni 的基準測試顯示 MiniMax H3-Image 在 Vera Rubin 上以不到一秒的 4K 延遲運行,並附有各硬體配置與服務經濟性的成本模型。

  3. Mastra Blog40

    Mastra Agents 私有模型閘道,支援自架模型

    Mastra 新增私有模型閘道,讓 agent 能將請求路由到自架的開放權重模型,並以 private/ollama/gpt-oss:20b 這類前綴來引用。自架可讓敏感資料留在網路內部,並以基礎設施成本取代按 token 計費的成本;設定 AUTO_BLOCK_EXTERNAL_PROVIDERS=true 可在 Studio 中隱藏外部供應商。此功能需要 @mastra/core@1.82.0 或更新版本。

11月11日星期三
  1. Modal Blog58

    Modal 加入 gVisor 維護者行列,Google 將該專案捐贈給 CNCF

    Modal 是加入 gVisor 維護者行列的三家公司之一,另外兩家是 Ant Group 和 Tines;與此同時,Google 將該專案及其商標捐贈給 CNCF,並採用維護者主導的治理模式。Modal 表示,該公司每天啟動多達 4,000 萬個 gVisor 容器,並自 2023 年起持續向上游貢獻,包括 nvproxy GPU 支援、名為 rdmaproxy 的 RDMA 裝置代理,以及 tmpfs 和記憶體配置器最佳化。該公司表示,目前正為 gVisor 開發多 GPU 記憶體快照與 GPUDirect Storage 支援。

  2. vLLM Blog58

    vLLM 為多模態服務新增編碼器解耦,支援 EPD

    vLLM 擴展了用於多模態服務的編碼器/預填充/解碼(EPD)解耦,新增僅中繼資料請求、專用編碼器執行路徑、透過 NIXL 與 Mooncake 進行遠端嵌入傳輸、跨編碼器輸出重用,以及透過 vLLM Router、SMG 和 llm-d 進行編排。包括 MiMo 和 XPU 支援在內的核心能力隨 vLLM v0.32.0 發布,而針對 DeepSeek V4.1 Flash 的僅中繼資料支援則透過 #62802 在 main 上提供。在 GB200 上進行的 DeepSeek V4.1 Flash 測試中,EPD 在並行度 64–128 時,每 GPU 吞吐量比八 GPU PD 基線高 6.6–9.5%,P90 TTFT 低 44–47%,但在並行度 16 時每 GPU 吞吐量較低。

  3. Meta Engineering Blog58

    Meta 解釋 TLX:為生產環境 ML 打造、硬體原生的 GPU 編譯器擴充,延伸 Triton

    Meta 詳細說明 TLX(Triton Low-Level Extensions),這是 Triton 的擴充,加入明確的 warp-group 與 cluster 層級編排,同時保留 Triton 的張量程式設計模型。TLX 已在 Meta 全面投入生產環境運行,在數千顆 NVIDIA Blackwell GPU 上為 GEM 訓練達到 20-25% 端到端 MFU,為 RecSys 推論將運算密集型網路延遲最多降低三分之二,並有一個分散式分組 GEMM 核心部署於大規模 LLM 預訓練。Meta 表示 TLX 鎖定 NVIDIA Hopper 與 Blackwell,以及 AMD Mi300 與 Mi350x,並正著手支援更多架構、自動 warp-group 推論與 torch.compile 後端。

  4. NVIDIA Blog60

    NVIDIA 將 OpenShell 代理執行環境貢獻給 CNCF,並新增 DSX Kubernetes 工具

    NVIDIA 將其用於保護與治理自主代理的開源執行環境 OpenShell 貢獻給雲原生運算基金會,成為沙箱專案,同時也對 Google 主導的 Agent Substrate 做出貢獻。NVIDIA 宣布三項新的 DSX AI Factory 平台元件:NVIDIA Kubernetes Engine 與 NVIDIA Kubernetes Recipes(現已進入公開預覽),以及 NVIDIA Snapshot,可在數秒內還原檢查點副本,無需重新載入模型或暖機。Crusoe 在 Crusoe Cloud 上測試 GLM-5.3,將工作負載就緒時間從約八分鐘縮短至 31 秒,而 Saturn Cloud 則將 vLLM 啟動時間從 2 到 8.5 分鐘縮短至 6 分 34 秒。

    推薦理由:NVIDIA 將其代理安全執行環境 OpenShell 貢獻給 CNCF,並為 GPU AI 工廠新增 Kubernetes 工具,早期的 Snapshot 成果將推論啟動時間從數分鐘縮短至數秒。

11月10日星期二
  1. LangChain Blog59

    Stripe 如何在一週內用 Deep Agents 打造 Kai

    Stripe 以 LangChain 的開源 Deep Agents 框架打造了全公司通用的知識 AI 平台 Kai,由一位工程師在一週內完成初版。這套技術堆疊在 Deep Agents 之上疊加了 Stripe 專屬的框架與配置層,採用由 S3 支撐的檔案系統中介軟體、用於執行程式碼的沙箱中介軟體、用於長時間工作階段的摘要中介軟體,以及橫跨 500 多個內部 MCP 工具與 1,000 多項技能的基於技能的動態工具載入機制。Kai 在大約四週內從 296 名使用者成長到超過 5,000 名,如今 Stripe 有 83% 的人每週使用,累計超過 6 萬個工作階段。

  2. Meta Engineering Blog40

    Meta 以廠商中立的加速器外掛架構擴充 LLDB,實現 CPU-GPU 除錯

    Meta 在 lldb-server 中建構了一套廠商中立的加速器外掛架構,讓 LLDB 能在單一工作階段中除錯橫跨 CPU 與 GPU 的應用程式。此設計將 CPU 與 GPU 表示為各自獨立的 LLDB target,各自擁有架構、執行緒、暫存器與位址空間,並由外掛將廠商的裝置除錯 API 轉譯為 LLDB 概念。GPU 支援僅在應用程式使用受支援的 GPU runtime 時才會啟用,因此純 CPU 除錯仍走既有的原生路徑,不會增加額外負擔。

  3. Goodfire Research62

    Goodfire 研究 Qwen3.6-35B-A3B 神經元作為可解釋基礎

    Goodfire Research 發表一項研究,主張 Qwen3.6-35B-A3B 中的個別 MLP 神經元比一般假設更具可解釋性,其依據來自稀疏化、歸因工具與研究代理。每次前向傳播中消融最弱的 92.2% MoE 神經元活化,語言模型損失僅上升 2.9%,且 69% 的神經元極點有單一模式對其因果效應貢獻至少 90%。自然語言的神經元描述讓評審模型在對抗隨機文本時以 95% 準確率預測激發,並透過模擬恢復 73% 的消融損害。

    推薦理由:Goodfire 對 Qwen3.6-35B-A3B 神經元的研究主張,僅靠強活化就承載了模型的大部分計算,為特徵字典可解釋性提供了一個具體的替代方案。

11月9日星期一
  1. Preferred Networks News55

    Preferred Networks 以開放權重發布 PLaMo 3.0 Fin 金融專用小語言模型

    Preferred Networks 發布 PLaMo 3.0 Fin,這是一款金融專用小語言模型,建構於與 NICT 共同研究中開發的 PLaMo 3 NICT 預訓練模型,並進一步以日本金融資料訓練,在 Hugging Face 上依 PLaMo Community License 發布開放權重。該模型新增逐步推理(Reasoning)功能,推理過程以日文輸出,並支援工具呼叫,可進行網頁搜尋、計算及內部資料庫存取,且能在封閉雲端或地端環境的單一 GPU 上執行。PFN 表示,推理與工具使用的指令遵循訓練是在自家 MN-Core 2 AI 晶片上完成,程式碼移植在一週內完成,訓練速度與 GPU 環境相當。

11月6日星期五
  1. vLLM Blog58

    vLLM 將其 CUDA 建置遷移至 LibTorch Stable ABI

    vLLM 已將其 CUDA 建置遷移至 LibTorch Stable ABI,自 v0.33.0 起發布 LibTorch ABI Stable CUDA wheels,因此新的 PyTorch wheel 無需重新建置 vLLM 即可匯入。團隊將 in-tree 原始碼與七個依賴 LibTorch 的相依套件(包括 FlashMLA、DeepGEMM 與 FlashAttention-2/3)遷移至穩定 API,並在 CI 中使用 torch-abi-audit 確認不再殘留不穩定符號。文章指出取捨,例如穩定 API 子集有限與少量主機端額外開銷,並表示 CPU 與 ROCm 建置將是下一步。

  2. OpenClaw Blog50

    OpenClaw 新增自動更新模型目錄,新模型無需更新應用程式即可使用

    OpenClaw 重建了模型探索機制,讓 GPT-6.1 Sol 等新模型無需發布新版本即可出現,改為從 catalog.openclaw.ai 的自動更新目錄(每四小時重建一次,約 1,000 個模型)、各帳號自身的供應商模型清單,以及與 PATH 上較新版本 Codex 的握手來取得清單。此目錄可在執行中的 Gateway 上即時切換,且供應商逾時或目錄替換後,模型清單不再縮減。

  3. OpenClaw Blog69

    OpenClaw 推出多人模式,支援共享 Agent 與上下文

    OpenClaw 已推出 Multiplayer,這是一項免費且開源的功能,讓多個人可以連接到同一個 OpenClaw Agent 和工作區,提示會即時顯示在各自的筆記型電腦上,請求則透過共享佇列進行協調。在舊金山 GitHub Universe 的演示中,兩位與會者分別在各自的機器上輸入提示,共同編輯同一個 3D 場景,而無需重新陳述上下文。OpenClaw 基金會表示,已有 50 多人在同一個共享環境中協作,並將持續擴展這項功能。

    推薦理由:OpenClaw 將多人共享同一 Agent 與上下文做成免費開源功能,為團隊協作中反覆重建上下文的問題提供了一種可遷移的做法。

11月5日星期四
  1. Mastra Blog38

    Mastra 推出 Custom Harness 計畫,配置嵌入式前線部署工程師

    Mastra 推出 Custom Harness 計畫,由前線部署工程師進駐客戶團隊,共同打造量身訂製的 agent harness。該計畫涵蓋可觀測性、evals、自訂 MCP、human-in-the-loop 工作流程、驗證與 RBAC,並可優先使用 Mastra Enterprise Platform。Mastra 以 Workday 為例,該公司在 31 天內從 Amazon Bedrock Agents 遷移,減少 3,000 行程式碼,並將向量儲存成本降低 98%。

11月4日星期三
  1. Ai2 · Allen Institute for AI38

    Ai2 與 Google 合作開發 NeuralGCM+ 氣候模型

    Ai2 啟動了一項氣候模擬計畫,由 Google.org 提供三年資金、Google Research 提供技術支援,以開發開源模型 NeuralGCM+,用於更快、更可靠地進行氣候推估。此專案延伸自 Google Research 的 NeuralGCM,該模型將大尺度動力學的物理方程式與雲層形成、降雨等較小尺度過程的 AI 結合,以同時模擬大氣與海洋。Ai2 的目標是降低過去 50 年區域氣溫與降雨的誤差,並對外發布模型與框架,附上可供外部研究人員參考的工作流程文件。

  2. vLLM Blog73

    Buoyant 發布 Kinference,一個針對 vLLM 與 Kubernetes 的開源推論控制平面

    Buoyant 宣布推出 Kinference,這是一個 Apache v2 開源控制平面,可將相容於 OpenAI 與 Anthropic 的推論流量路由至 Kubernetes 上的 vLLM 工作節點,並加入權杖速率限制、各租戶用量與成本追蹤、KV 快取感知負載平衡,以及 YAML 推論策略。在該專案的公開基準測試中,Kinference 在單一工作負載上,相較於標準 Kubernetes 服務負載平衡,將中位數首字延遲降低了 95%,中位數端到端延遲降低了 45%;在容量測試中,於共享前綴情境下提供 7.4 倍的有效吞吐量,於多輪對話情境下約提供 3.5 倍。策略可將較簡單的提示路由至較便宜的模型、將突發溢流導向 Bedrock 與 Databricks 等供應商,或將標記為 PII 的請求保留在叢集內;各租戶指標涵蓋權杖速率、TTFT、ITL,以及快取與未快取的提示權杖。

    推薦理由:Buoyant 的 Kinference 在 vLLM 之上加入了 KV 快取感知負載平衡與 YAML 推論策略,基準測試聲稱相較於標準 Kubernetes 服務路由,在 TTFT 與有效吞吐量上有大幅提升。

11月2日星期一
  1. Zyphra Research58

    Zyphra 推出 ZHA 分層注意力,一種具備次二次路由的稀疏方法

    Zyphra 推出了 Zyphra Hierarchical Attention(ZHA),這是一種稀疏注意力方法,它建立一棵由壓縮 KV-cache 摘要構成的樹,並讓查詢自上而下地穿過這棵樹進行路由,在合適的 top-p 閾值下可達到次二次複雜度。現有的預訓練模型可以透過一個短暫的 KL 蒸餾階段進行適配,僅需使用數十億個 token;在 Qwen3.6-35B-A3B 上,ZHA 增加了 81,920 個可訓練參數,約占基礎模型的 0.00024%。在 256K token 的 RULER-13 上,寬樹模型得分為 96.2%,而稠密注意力為 96.0%;深層六級樹在 LongBench v2 上得分為 63.4%,而稠密注意力為 58.0%,同時僅關注約 1.1% 的 KV cache;一個 GPU roofline 模型預測,在 10M token 時相比稠密注意力可實現 32-35 倍加速。

  2. Ai2 · Allen Institute for AI32

    Olmo 3 如何獲得 Nextcloud 最高倫理 AI 評級

    Ai2 的 Olmo 3 獲得 Nextcloud 最高倫理 AI 評級「綠色」,該評級要求開源訓練與推論軟體、可自行託管的已訓練模型,以及公開可用的訓練資料。Nextcloud 將 Olmo 3 與其 llm2 本地 LLM 後端綁定,並選擇 7B 版本,讓沒有 16 或 32 GB VRAM 的使用者仍能獲得良好的開箱即用本地體驗。

11月1日星期日
  1. Sakana AI Blog40

    Sakana AI 研討會:Jürgen Schmidhuber 談 AI 的過去與未來,日本進軍語言模型、世界模型與實體 AI

    Sakana AI 於 2026 年 10 月 26 日在東京舉辦「從世界模型到真實世界 AI」研討會,首席科學顧問 Jürgen Schmidhuber 發表主題演講,Sakana AI 並宣布將開發自家預訓練語言模型系列 Sakana Sawara(暫定名稱)。首個小型模型 Sawara Small(暫定名稱)若開發順利,計畫於 2027 年春季發布。超過 400 人參與此次活動,會中還安排了 Schmidhuber 與執行長 David Ha 的對談。

10月29日星期四
  1. Meta Newsroom · AI22

    Meta與五所美國大學合作,加速醫學與科學突破

    Meta正與五所美國大學合作——加州理工學院、俄亥俄州立大學醫學院、路易斯安那州立大學、印第安納大學與UTHealth Houston——並提供200萬美元,支持利用其模型在醫學、物理、化學、生物、電腦科學與數學領域的研究。項目包括一個基於Meta開放權重SAM模型構建的電腦視覺系統,用於檢測嬰兒氣管導管移位;多模態AI幫助對話代理適應失智症患者;以及從常規CT掃描與醫療記錄預測心臟衰竭風險的開放權重模型。

10月23日星期五
  1. Modal Blog58

    Modal 與 Sakana AI 如何為 Sakana Namazu API 部署約 1T 參數的 MoE 模型

    Modal 的前置部署工程團隊與 Sakana AI 合作,在 Modal 上運行 Sakana Namazu——一個針對日本商業情境調校、約 1T 參數的 MoE 模型,以支援其公開 API 上線。團隊僅對路由專家套用選擇性 NVFP4 量化,注意力層、路由器與共享專家則維持 BF16,並以日語為主的對話進行校準,確保全部 23,040 個專家都接收到具代表性的流量。一個以超過 300 億個原始 token ID 訓練的自訂 DFlash 草稿模型,將推測性 token 接受率提升 25%,並使每 token 解碼延遲降低約 35%;另一個以約 100 萬筆真實請求訓練的草稿模型,則將平均接受長度從 3.51 提升至 5.01,並將 p99 延遲從 68 秒降至 52 秒。

10月22日星期四
  1. Anthropic Newsroom71

    Anthropic 將 Agent Skills 標準捐贈給 Agentic AI Foundation

    Anthropic 將 Agent Skills 捐贈給 Linux 基金會旗下的 Agentic AI Foundation(AAIF)。Agent Skills 是一項開放標準,用於賦予 AI 代理專門知識與工作流程。自 2025 年 12 月發布以來,已有超過 70 個代理平台整合該標準,包括 ChatGPT、Cursor、GitHub Copilot 和 VS Code,共發布 100 萬項技能,安裝次數接近 2.8 億次。此次捐贈涵蓋 Agent Skills 的名稱與標誌、GitHub 組織以及 agentskills.io 網域,並由 Anthropic、Google、OpenAI 等公司的工程師以個人身分維護,首席維護者為 David Soria Parra 和 Mahesh Murag。

    推薦理由:Anthropic 將其 Agent Skills 標準交給 Linux 基金會的 AAIF,與 MCP 同屬一個中立家園,讓社群對該規格的發展路線圖擁有正式話語權。

10月21日星期三
  1. Mistral AI48

    Mistral 與 NVIDIA 合作打造工程工作流程 AI

    Mistral 與 NVIDIA 正在合作打造 AI 原生的工程工作流程,將 Mistral Large 4 與 NVIDIA CUDA-X 函式庫及 Warp 搭配,目標是加速模擬並實現閉環設計。此合作也將為 CAE 與 EDA 中的物理模型與代理式 AI 產出公開基準與開放資料集,並與 NVIDIA Omniverse 整合,用於 3D 場景生成與 SimReady 資產。Mistral Large 4(代號 Le Chonk)總參數約 1 兆、活躍參數 490 億,並以 3,800 顆 NVIDIA Grace Blackwell GPU 訓練而成。

  2. OpenClaw Blog22

    OpenClaw 推出焦點週,首先從 Control UI 開始

    OpenClaw 推出了焦點週(Focus Weeks)計畫,每週針對其路線圖中的一個領域,由一位維護者(Maintainer)負責,並邀請社群貢獻程式碼、錯誤回報、測試、文件與無障礙回饋。第一個焦點週於 2026 年 10 月 19 日至 25 日舉行,主題為 Control UI,由 Vyctor Brzezowski 擔任維護者。一群精選的輪值 Clawtributors 也獲得共享 OpenClaw Team 環境的臨時訪客存取權,以測試其多人協作功能。

10月15日星期四
  1. Modal Blog34

    用 Modal GPU 強化你的 LiveKit Agent

    Modal 說明如何在其無伺服器 GPU 上,以開放權重或自訂模型執行 LiveKit Agents,並使用 BitHuman 的開放權重 Expression Video Avatar,搭配 Qwen3-TTS 配音來複製 Charles Frye。此設定透過 Modal Server 對外開放 avatar 容器的 /launch 端點,並使用 Sticky Sessions 讓 WebSocket 用戶端維持在同一個容器上,同時以 GPU 快照隱藏冷啟動。

  2. Meta AI Research Blog88

    Meta 發布 Muse Spark Open,一個可在兩台 Mac Studio 上運行的 816B 開放權重多模態模型

    Meta 發布了 Muse Spark Open 的權重,這是一個原生多模態的開放權重模型,總參數 816B(活躍參數 42B),上下文視窗達 1M token,定位於程式編寫與代理式工作。它是同類模型中首個能在桌面上運行的模型,使用兩台 Apple M5 Ultra Mac Studio 搭配 MLX 框架;並可透過 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 與 Together AI 等 API 合作夥伴取得,權重則發布於 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden 與 Microsoft Foundry Models。Meta 表示,該模型隨附 SGLang 中可自動調校的 Helion GPU 核心,在 NVIDIA 與 AMD GPU 上帶來 1.03–3.95 倍的核心層級加速,在 AMD MI350 上則有 3% 的端到端加速。

    推薦理由:Meta 發布了一個 816B 參數多模態模型的開放權重,該模型可在兩台 Mac Studio 上運行,為開發者提供了針對長時程程式編寫與代理式任務的本地選項。

10月13日星期二
  1. LiveKit Blog18

    排解 LiveKit Egress 問題:常見錯誤與修正方法

    LiveKit 發布了一份 Egress 的疑難排解指南,涵蓋常見錯誤,例如範本從未呼叫 START_RECORDING 而出現的 412「未收到啟動訊號」、30 秒內找不到參與者或軌道的 404,以及 S3/GCP/Azure 憑證無效導致的 400 上傳失敗。指南也處理版面配置、webhook 與自架 Egress 的問題,並指出這些指引同時適用於目前的 StartEgress API 與已棄用的來源專屬 API。

10月8日星期四
  1. Goodfire Research71

    Goodfire 在 Kimi K3 和 GLM 5.3 上訓練並部署基於探針的網路濫用監控器

    3 並將其部署到生產推理堆疊上,其中一個低成本的探針會過濾對話輪次,只有可疑的交流才會送到 LLM 評審。良性會話中斷率為 5%,在沒有評審推理的情況下每百萬輪次成本為 65 美元,有評審推理時為 185 美元,並且在 SGLang 內沒有可測量的吞吐量損失。

    推薦理由:Goodfire 展示了一種探針加評審的級聯方案,能以大約低 50 倍的成本監控代理式網路濫用,且沒有可測量的吞吐量損失,這是安全地提供開放模型服務的具體配方。

10月1日星期四
  1. Modal Blog58

    Modal Clusters 正式可用,透過 @modal.clustered 一行程式碼取得多節點 RDMA 叢集

    Modal 宣布 Modal Clusters 已正式開放給所有工作區使用,使用者可透過單一裝飾器 @modal.clustered 申請多節點叢集。這些叢集提供高達 6.4 Tbps 的 InfiniBand RDMA 通訊,並自動為 PyTorch 與 NCCL 完成設定,叢集可在數秒內啟動,且按秒計費。Modal 同時說明了一套新的 gang 排程器,可一次放置 N 個節點,以及內建於 gVisor 執行環境的 RDMA 支援;文中並以 Decagon、1x 與 Runway 作為使用者案例,分別用於兆級參數微調、世界模型預訓練與多節點影片推論。

9月28日星期一
9月25日星期五
  1. OpenClaw Blog74

    Microsoft Autopilot 建構於 OpenClaw 之上,貢獻雙向流動

    Microsoft 推出 Autopilot,這是一款建構於 OpenClaw 之上的常駐個人代理,屬於其全新 Copilot 體驗的一部分,私人預覽將於本月底擴展至首批客戶。Autopilot 是 Microsoft Scout 的新名稱,後者於今年早些時候發布,Omar Shahine 的團隊表示正與 OpenClaw 及 OpenClaw Foundation 合作開發企業級執行環境。OpenClaw 重點介紹了 Microsoft 工程師的上游貢獻,包括政策合規檢查、原生 Windows 伴侶應用,以及針對背景任務、重新啟動和重複回覆的可靠性修復。

    推薦理由:Microsoft 的 Autopilot 建構於 OpenClaw 之上,此處列出的上游貢獻展示了共享代理執行環境如何跨平台改進。

9月22日星期二
  1. OpenClaw Blog60

    OpenClaw 新增選用式決策模型與共用 Plugin SDK 介面

    OpenClaw 支援另行設定的決策模型,其核心與外掛可透過 Plugin SDK 中的 api.runtime.decisions.evaluate 呼叫,回傳選項、分數或機率,而非聊天回覆。此功能為選用式,不會取代聊天模型,且各供應商套件仍在等待支援版本發布。TypeSafe 轉接器支援託管的 Jev 與本地的 System One 伺服器(例如 Jared Palmer 的 Kev),而評估工具正以 decision_evaluate 之名移入 OpenClaw 核心。

    推薦理由:OpenClaw 新增選用式決策模型層,可從應用程式碼回傳具型別的答案,並提供共用的 Plugin SDK 介面,讓外掛無須逐一整合各供應商即可使用。

9月21日星期一
  1. LiveKit Blog38

    比較用於即時語音與視訊 AI 代理的開源框架:LiveKit Agents 與 Pipecat

    本指南比較 LiveKit Agents 與 Pipecat 這兩個它認為對打造生產級語音與視訊 AI 代理最重要的開源框架,涵蓋架構、採用情況、開發者體驗與生產就緒度。LiveKit Agents 運行於 LiveKit 的開源 WebRTC 與 SIP 基礎設施上,並為你串接好管線;Pipecat 則不預設傳輸方式,由開發者逐階段組裝管線。文中也說明 TEN Framework、Dograh、Vision Agents 與 Vocode 各自的位置。