跳至正文

技術方向

開源生態 最新動態

開放權重、能下載下來自己部署的模型，開源框架與 GitHub 上爆火的 AI 專案。

43 條精選近 30 天 30 條共收錄 186 條

11月13日 08:32更新

開源生態 · 精選 · 第 2 頁

11月4日星期三第 21–40 條 / 共 43 條
  1. vLLM Blog73

    Buoyant 發布 Kinference，一個針對 vLLM 與 Kubernetes 的開源推論控制平面

    Buoyant 宣布推出 Kinference，這是一個 Apache v2 開源控制平面，可將相容於 OpenAI 與 Anthropic 的推論流量路由至 Kubernetes 上的 vLLM 工作節點，並加入權杖速率限制、各租戶用量與成本追蹤、KV 快取感知負載平衡，以及 YAML 推論策略。在該專案的公開基準測試中，Kinference 在單一工作負載上，相較於標準 Kubernetes 服務負載平衡，將中位數首字延遲降低了 95%，中位數端到端延遲降低了 45%；在容量測試中，於共享前綴情境下提供 7.4 倍的有效吞吐量，於多輪對話情境下約提供 3.5 倍。策略可將較簡單的提示路由至較便宜的模型、將突發溢流導向 Bedrock 與 Databricks 等供應商，或將標記為 PII 的請求保留在叢集內；各租戶指標涵蓋權杖速率、TTFT、ITL，以及快取與未快取的提示權杖。

    推薦理由：Buoyant 的 Kinference 在 vLLM 之上加入了 KV 快取感知負載平衡與 YAML 推論策略，基準測試聲稱相較於標準 Kubernetes 服務路由，在 TTFT 與有效吞吐量上有大幅提升。

10月30日星期五
  1. Epoch AI · Gradient Updates82

    Epoch AI 發現 GLM 5.3 能在用戶更新前，將已公開的 Firefox 修補程式轉化為可用的漏洞利用程式

    Epoch AI 報告指出，Z.ai 於八月發布的開放權重模型 GLM 5.3，能自主從 Mozilla 已公開但尚未推送給用戶的安全修補程式中建構出可用的漏洞利用程式，成功入侵 9 月 17 日至 10 月 26 日期間發布的全部六個 Firefox 版本。在約 10 萬美元的環境建置與 API 成本之後，每次成功攻擊的運算成本約為 1,000 美元，最快的一次嘗試在 48 小時的預算內耗時 12 小時。針對 Chrome 的類似攻擊並未成功，研究人員表示未觸發任何供應商的安全防護機制或拒絕回應；他們另外發現的一個未公開漏洞，已於 10 月 27 日的 Firefox 159.0 版本中修補。

    推薦理由：Epoch AI 的實驗顯示，開放權重模型能自主將已公開但尚未推送的 Firefox 修補程式武器化，為修補空窗期提供了具體的成本與時間數字。

10月29日星期四
  1. Mistral AI86

    Mistral 為 Mistral Large 4（Le Chonk）釋出開放權重，這是一個 1 兆參數的多模態模型

    Mistral AI 釋出了 Mistral Large 4（Le Chonk）的開放權重，這是一個 1 兆參數的原生多模態模型，於本月稍早進入公開預覽，並在歐洲從零開始訓練。該公司表示，額外三週的強化學習將其推升至開放權重編碼的頂端，在 Terminal-Bench 4.0 上達到 41%，在 Artificial Analysis Coding Agent Index 上達到 48%，同時每項任務使用的 token 比 GLM-5.3 少 47%。它新增了低、中、高三種推理模式，在 Artificial Analysis Cyber Index 上得分 51%，並在修改版 MIT 授權下，定價為每百萬 token 輸入 $0.70、快取輸入 $0.07、輸出 $2.10。

    推薦理由：Mistral 開放其 1 兆參數旗艦模型的權重，將編碼與防禦性安全基準的進展，與三種推理模式和按 token 計價結合在一起。

10月22日星期四
  1. Modal Blog71

    Modal 發布 Spindle，一個開源、相容於 Tinker 的訓練伺服器

    Modal 發布了 Spindle，這是一個開源、相容於 Tinker 的訓練伺服器，可在客戶的 Modal 工作區中運行，讓團隊能自訂技術堆疊，並按 GPU 時間而非 token 計費。Spindle 支援對開源模型進行全參數訓練與多 LoRA，Modal 表示，在一個 DAPO-math GRPO 任務上，讓 8 個客戶端共用一個訓練器，相較於 Tinker，每 100 萬輸出 token 的成本最多可降低 80%。Modal 表示 Spindle 仍處於 beta 階段，並將其定位於自家的 Dojo 訓練函式庫與原始叢集基礎元件之間。

    推薦理由：Modal 的開源 Spindle 伺服器為團隊提供了一個相容於 Tinker 的替代方案，以 GPU 時間取代按 token 計費，據稱多 LoRA 共用可將成本最多降低 80%。

  2. MiniMax Blog62

    MiniMax Code 推出 Mini App 執行環境，內建託管 MCP 與開源儲存庫

    MiniMax 在 MiniMax Code 桌面應用中推出 Mini App，這是一種外掛格式的應用程式，具備前端與 Node.js 後端，讓 Agent 的工作保留在一個持續運行的頁面上，而不是散落在各段對話中。此次發布包含具備持久化資料目錄的執行環境、託管 MCP、Agent API、Host Connectors 與頁內工具核准，以及可從一句話需求直接生成可用頁面的 /miniapp-creator，還有外掛市集中的官方 Mini Apps。MiniMax Bot 本身就是一個 Mini App，其原始碼與社群打造的 Mini Apps 現已收錄於開源的 MiniMax-Code-MiniApps 儲存庫；Mini Apps 可在 macOS 與 Windows 的本機工作階段中使用。

    推薦理由：MiniMax Code 把 Agent 的工作從對話流搬進常駐頁面，並公開了 Mini App 的執行環境與開源儲存庫，為 Agent 工具形態提供了一種可參考的架構。

  3. Anthropic Newsroom71

    Anthropic 將 Agent Skills 標準捐贈給 Agentic AI Foundation

    Anthropic 將 Agent Skills 捐贈給 Linux 基金會旗下的 Agentic AI Foundation（AAIF）。Agent Skills 是一項開放標準，用於賦予 AI 代理專門知識與工作流程。自 2025 年 12 月發布以來，已有超過 70 個代理平台整合該標準，包括 ChatGPT、Cursor、GitHub Copilot 和 VS Code，共發布 100 萬項技能，安裝次數接近 2.8 億次。此次捐贈涵蓋 Agent Skills 的名稱與標誌、GitHub 組織以及 agentskills.io 網域，並由 Anthropic、Google、OpenAI 等公司的工程師以個人身分維護，首席維護者為 David Soria Parra 和 Mahesh Murag。

    推薦理由：Anthropic 將其 Agent Skills 標準交給 Linux 基金會的 AAIF，與 MCP 同屬一個中立家園，讓社群對該規格的發展路線圖擁有正式話語權。

10月15日星期四
  1. Mistral AI71

    Mistral 發布 Timestral 時間序列基礎模型，在 GIFT-Eval、TIME 與 fev-bench 上奪冠

    Mistral 發布 Timestral，這是其首個時間序列基礎模型系列，共有 5M 至 209M 參數四種規模。其中最大的模型在 GIFT-Eval、TIME 與 fev-bench 這三個主要公開基準上，於單一檢查點、未使用集成方法的預訓練零樣本模型中排名第一，且僅使用前代最先進模型三分之二的參數。Timestral 可產生具 21 個分位數的機率性多變量預測，支援僅過去與已知未來的共變量，可在無 GPU 的 CPU 上執行，並可透過 Mistral Forge 進行微調，同時在修改版 MIT 授權下發布了 GitHub 儲存庫與技術報告。

    推薦理由：Mistral 首個時間序列基礎模型系列以 209M 參數的檢查點，宣稱在 GIFT-Eval、TIME 與 fev-bench 上取得零樣本排名第一，為預測工作提供了規模與準確度的取捨參考。

  2. inclusionAI Repositories67

    inclusionAI 發布 Ming-3.0-audio-flash 與 Ming-3.0-audio-tiny 音訊模型

    inclusionAI 發布 Ming-3.0-audio-flash，這是一個 126B 參數的混合專家（MoE）音訊模型，啟動參數為 6.5B，同時推出精簡版 Ming-3.0-audio-tiny，參數為 9.3B、啟動參數 2.7B。flash 模型涵蓋中英文語音辨識，包括方言與嘈雜多說話者場景、長音訊理解、非語音聲音與音樂感知、音訊推理，以及可選合成語音輸出的端到端口語對話。它隨附 vLLM-Omni、SGLang 與 Transformers 推論路徑，採用 MIT 授權，預設 Flash 配置在 128K 上下文下使用四張 80 GB H800 GPU 的張量平行。

    推薦理由：此次發布詳細介紹了一個 126B 參數的 MoE 音訊模型，啟動參數為 6.5B，外加一個 9.3B 的 tiny 變體，為開放音訊語言模型的規模與部署提供了具體參考。

  3. Meta AI Research Blog88

    Meta 發布 Muse Spark Open，一個可在兩台 Mac Studio 上運行的 816B 開放權重多模態模型

    Meta 發布了 Muse Spark Open 的權重，這是一個原生多模態的開放權重模型，總參數 816B（活躍參數 42B），上下文視窗達 1M token，定位於程式編寫與代理式工作。它是同類模型中首個能在桌面上運行的模型，使用兩台 Apple M5 Ultra Mac Studio 搭配 MLX 框架；並可透過 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 與 Together AI 等 API 合作夥伴取得，權重則發布於 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden 與 Microsoft Foundry Models。Meta 表示，該模型隨附 SGLang 中可自動調校的 Helion GPU 核心，在 NVIDIA 與 AMD GPU 上帶來 1.03–3.95 倍的核心層級加速，在 AMD MI350 上則有 3% 的端到端加速。

    推薦理由：Meta 發布了一個 816B 參數多模態模型的開放權重，該模型可在兩台 Mac Studio 上運行，為開發者提供了針對長時程程式編寫與代理式任務的本地選項。

  4. Goodfire Research62

    Goodfire 研究文章主張神經網路本來就是乾淨的，而疊加現象被誤讀了

    Goodfire 研究員主張，神經網路中多義性與疊加現象的經典證據被誤讀了，那些看似任意堆疊的現象，大多是一種他稱為遞迴泛化的模式。以一般架構改進、且不改變模型大小或訓練資料的方式重新訓練 InceptionV1 後，其最後一層 99-100% 的神經元都變得易於解讀；而對 Qwen3-32B 的初步稽核估計，約 90% 的神經元極性只有一項主要職責。文章結論認為，網路只使用一種學習原理而非兩種，因此可解釋性研究可以直接研究神經元與電路，而不必先訓練稀疏自編碼器等分解模型。

    推薦理由：這是對該領域經典多義性證據的第一手重新詮釋，主張網路是遞迴地泛化，而非把不相干的概念堆疊在一起，這將使直接的機制性研究變得可行。

10月13日星期二
  1. Amazon Science75

    Amazon Web Services 研究人員提出 priming，將預訓練 Transformer 轉換為混合狀態空間模型，無需完整重新訓練

    Amazon Web Services 研究人員提出 priming，此方法重用預訓練 Transformer 權重，將混合狀態空間架構的預訓練成本降低超過 99%，僅使用來源模型預訓練 token 預算的不到 0.5%。在受控比較中，Gated KalmaNet 優於 Gated DeltaNet 和 Mamba-2，而一個基於 GKA 的 32B 混合模型在推理基準上與其來源 Transformer 表現相當，同時在 128,000 token 上下文下解碼速度最高可達兩倍。團隊以 Apache 2.0 授權釋出了 8B 和 32B 的 primed 混合模型、訓練程式碼、Triton 核心以及 vLLM 服務外掛。

    推薦理由：Amazon Web Services 研究人員展示，重用預訓練 Transformer 權重可將混合架構預訓練成本降低超過 99%，使狀態空間層的受控比較變得可行。

10月8日星期四
  1. Goodfire Research71

    Goodfire 在 Kimi K3 和 GLM 5.3 上訓練並部署基於探針的網路濫用監控器

    3 並將其部署到生產推理堆疊上，其中一個低成本的探針會過濾對話輪次，只有可疑的交流才會送到 LLM 評審。良性會話中斷率為 5%，在沒有評審推理的情況下每百萬輪次成本為 65 美元，有評審推理時為 185 美元，並且在 SGLang 內沒有可測量的吞吐量損失。

    推薦理由：Goodfire 展示了一種探針加評審的級聯方案，能以大約低 50 倍的成本監控代理式網路濫用，且沒有可測量的吞吐量損失，這是安全地提供開放模型服務的具體配方。

9月29日星期二
  1. OpenClaw Blog71

    OpenClaw Enterprise 推出，作為管理持久性代理的開源平台

    OpenClaw 宣布推出 OpenClaw Enterprise（OCE），這是一個開源、廠商中立的平台，用於在敏感環境中管理持久性代理，目前仍在開發中，預計於今年稍晚發布 1.0 版本。OCE 新增了企業控制平面，具備多租戶、嚴格安全邊界、沙箱、基於 LLM 的審查與細粒度權限，並允許將執行框架、模型與沙箱替換為第三方或內部實作。組織今天即可透過 docker-compose 進行本地開發，或透過 kubernetes 進行內部部署來自架設，目前正在包括 Red Hat 與 OpenAI 在內的公司進行試點。

    推薦理由：OpenClaw Enterprise 是一個開源控制平面，用於在敏感環境中管理持久性代理，具備多租戶、嚴格安全邊界與可審計性，現已可供內部試點工作負載使用。

9月25日星期五
  1. OpenClaw Blog74

    Microsoft Autopilot 建構於 OpenClaw 之上，貢獻雙向流動

    Microsoft 推出 Autopilot，這是一款建構於 OpenClaw 之上的常駐個人代理，屬於其全新 Copilot 體驗的一部分，私人預覽將於本月底擴展至首批客戶。Autopilot 是 Microsoft Scout 的新名稱，後者於今年早些時候發布，Omar Shahine 的團隊表示正與 OpenClaw 及 OpenClaw Foundation 合作開發企業級執行環境。OpenClaw 重點介紹了 Microsoft 工程師的上游貢獻，包括政策合規檢查、原生 Windows 伴侶應用，以及針對背景任務、重新啟動和重複回覆的可靠性修復。

    推薦理由：Microsoft 的 Autopilot 建構於 OpenClaw 之上，此處列出的上游貢獻展示了共享代理執行環境如何跨平台改進。

9月22日星期二
  1. OpenClaw Blog60

    OpenClaw 新增選用式決策模型與共用 Plugin SDK 介面

    OpenClaw 支援另行設定的決策模型，其核心與外掛可透過 Plugin SDK 中的 api.runtime.decisions.evaluate 呼叫，回傳選項、分數或機率，而非聊天回覆。此功能為選用式，不會取代聊天模型，且各供應商套件仍在等待支援版本發布。TypeSafe 轉接器支援託管的 Jev 與本地的 System One 伺服器（例如 Jared Palmer 的 Kev），而評估工具正以 decision_evaluate 之名移入 OpenClaw 核心。

    推薦理由：OpenClaw 新增選用式決策模型層，可從應用程式碼回傳具型別的答案，並提供共用的 Plugin SDK 介面，讓外掛無須逐一整合各供應商即可使用。

8月13日星期四
  1. MiniMax Blog71

    MiniMax 發布 Music 3.0，一款可生成長達五分鐘完整歌曲的開放權重音樂生成模型

    MiniMax 推出 Music 3.0，這是一款開放權重音樂生成模型，能從創意概念與可選歌詞出發，單次生成即可作曲、編曲並製作長達五分鐘的完整歌曲。此流程將一個由 Qwen3.5-8B 初始化的 8B Global LLM 與一個 0.6B Local LLM 配對，融合兩者的連續隱藏狀態，用以調控一個 2.4B flow-matching 模組與一個 123M Flow-VAE，並採用八層 RVQ 以及隨時間描述情緒、樂器編制與演唱方式的 Structured Captions。MiniMax 表示，這能更準確地詮釋創作意圖、編曲更飽滿，人聲也更清晰自然。

    推薦理由：MiniMax 的架構拆解顯示，一個 8B 全域 LLM 搭配一個 0.6B 本地模型與 flow-matching 堆疊，如何針對長歌曲的連貫性問題。

7月27日星期一
  1. Modal Blog75

    Moonshot 的 Kimi K3 現已在 Modal 上線，並提供首日 vLLM 支援

    Modal 在 Moonshot 的 Kimi K3 發布當天，便於其平台上架這款 2.8 兆參數的多模態模型，透過按 token 計價的 Shared API 與專用 Auto Endpoints，提供 100 萬 token 的上下文視窗。Modal 表示，一款針對 K3 架構調校的客製化 DFlash 推測器，在代理式工作負載下，將互動性從每秒 100 個 token 提升至每秒 460 個 token，並將每顆 GPU 的吞吐量從 80 萬 TPM 提升至 150 萬 TPM。該模型採用混合專家設計，每個 token 啟用 896 個專家中的 16 個，而 Moonshot 在發布前也向 vLLM 貢獻了新的前綴快取實作。

    推薦理由：Modal 詳細說明它如何在發布當天將 Moonshot 的 2.8 兆參數 Kimi K3 上架至其平台，其中包括一款客製化 DFlash 推測器，可將互動性從每秒 100 個 token 提升至每秒 460 個 token。

6月23日星期二
  1. Modal Blog60

    Modal 推出 Auto Endpoints，提供自助式、相容 OpenAI API 的 LLM 推論服務

    Modal 推出 Auto Endpoints，這是一項自助式服務，可將生產級 LLM 推論部署為相容 OpenAI API 的端點，並由使用者可見且可控制的 Modal App 支援。每個支援的模型都附帶一個起始部署，該部署依據 Modal 自身的基準測試調校，使用 SGLang 等引擎以及來自 Z Lab 的 DFlash 推測解碼草稿器，使用者可以檢視 GPU 選擇、引擎旗標，以及 TTFT、ITL 和推測解碼接受長度等推論指標。Modal 也將 Modal Servers 從 beta 版釋出，提供延遲僅 5ms 的區域化路由，並表示其透過內部代理系統產生端點部署，且仍由人類工程師監控。

    推薦理由：Modal 的 Auto Endpoints 公開了託管推論供應商通常隱藏的服務堆疊、引擎指標和基準測試配方，為團隊提供一條自助途徑，以擁有開放模型的推論能力。

6月19日星期五
  1. Modal Blog60

    Modal 為 Qwen 3.5 與 3.6 發布 DFlash 推測器，聲稱可額外提速 5-20%

    Modal 在 Hugging Face 上發布了一系列針對 Qwen 系列的 DFlash 草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 以及從 4B 到 122B-A10B 的 Qwen 3.5 變體，另外還有一個用 SGLang 構建的 Qwen 3.5 397B-A17B 的 DFlash 推測器。該公司表示，新的草稿模型比現有的 DFlash 基線額外提速 5-20%，並且可以在 B200 節點上以並發度 1 運行 Qwen 3.5 122B-A10B 達到超過 1000 tok/s，而無推測時為 250 tok/s。文章認為，在內核優化只能帶來幾個百分點提升的地方，推測解碼可帶來 2 倍至 3 倍的增益，並提出了一個用於根據接受長度估算加速比的 roofline 模型。

    推薦理由：Modal 解釋了為何押注推測解碼，並發布了針對 Qwen 系列的 DFlash 草稿模型，附帶實測加速數據和用於估算增益的 roofline 模型。

6月1日星期一
  1. MiniMax Blog87

    MiniMax M3 發布，具備 1M 上下文、前沿編碼與原生多模態能力

    MiniMax 發布 M3，這是一款開放權重模型，該公司稱其為首個結合前沿編碼與代理能力、1M token 上下文窗口，以及原生圖像與影片輸入的模型。M3 採用 MiniMax 新的 MSA 稀疏注意力架構，該公司報告稱，此架構在 1M 上下文下將每 token 計算量降至前一代的 1/20，並將預填充速度提升逾 9 倍、解碼速度提升逾 15 倍。它在 SWE-Bench Pro 上得分 59.0%、在 Terminal-Bench 2.1 上得分 66.0%、在 MCP Atlas 上得分 74.2%，並可透過 MiniMax Code、Token Plan 與 API 使用，權重與技術報告承諾在 10 天內發布。

    推薦理由：MiniMax M3 將 1M token 上下文、前沿編碼與代理得分，以及原生圖像與影片輸入結合於一個開放權重模型中，並以 MSA 在長上下文下降低每 token 計算量。