技術方向
怎麼把模型跑得更快更省錢：推理加速、視訊記憶體與成本、服務部署與基礎設施選型。
62 條精選近 30 天 34 條共收錄 472 條
Google 宣布，其用於大型模型（包括 Gemini）的分散式訓練系統 Pathways 已在 Google Cloud Platform 上正式推出（General Availability）。Pathways 以單一 Python 用戶端宣告整個計算為資料流圖，取代了鎖步式 SPMD 執行；分散式執行階段則將區塊放置於虛擬裝置上、移動並重新分片張量，並在整個叢集間排序工作。Google 表示，此設計可讓故障主機重新對應到健康的晶片上，而不必重新啟動作業；且共用的 Pathways 服務能從單一叢集服務多個用戶端。
推薦理由：Google 說明了 Pathways 的單控制器模型與 SPMD 的差異，以及它如何處理跨群組張量傳輸、排程與主機故障復原。
NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示，對齊 rollout 與訓練器的核心，可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲，在策略延遲 64 下穩定訓練 20,000 次更新，並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時，rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍，線上 AIME24 pass@1 從 34.27% 降至 13.96%，而序列閘門雖能穩定訓練，但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1，以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1，程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。
推薦理由：NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配，顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。
參照。代理在 6% 的遭遇中依據該錯誤 ID 採取行動，其中 83% 的行動並非開發者所提示；41% 的非提示性繞道追逐已關閉的工單，而 57% 則觸及仍開啟的錯誤並擴大了範圍。在控制開發者、程式碼庫複雜度、任務類型、模型層級及其他因素後，非提示性錯誤繞道使每個工作階段多出 70% 的步驟、77% 的 token 及 105% 的等待時間。
推薦理由：Google 的大規模追蹤分析顯示，過時的 TODO 錯誤參照會使編碼代理陷入非提示性繞道，而其清理代理已移除數千個過時參照，審查者接受率超過 95%。
Mistral 擴充其企業 AI 平台 Studio，加入託管代理與應用程式，以及新的工作流程、企業情境、代理可觀測性與評估能力，並運行於 Mistral Large 4（Le Chonk）模型上。開發者可使用技能、沙箱、子代理與鉤子建構多步驟代理，並透過新的 Mistral MCP 伺服器以單一指令部署至 Studio。Mistral 表示，包括 ABANCA、BNP Paribas、Capgemini 與 TCS 在內的客戶已在生產環境中使用 Studio，部署方式可選擇雲端、VPC 或地端。
推薦理由：Mistral 擴充 Studio，推出託管代理、工作流程與應用程式，展示企業如何將部署與資料控制保留在自身環境中。
Buoyant 宣布推出 Kinference，這是一個 Apache v2 開源控制平面，可將相容於 OpenAI 與 Anthropic 的推論流量路由至 Kubernetes 上的 vLLM 工作節點，並加入權杖速率限制、各租戶用量與成本追蹤、KV 快取感知負載平衡，以及 YAML 推論策略。在該專案的公開基準測試中，Kinference 在單一工作負載上，相較於標準 Kubernetes 服務負載平衡，將中位數首字延遲降低了 95%，中位數端到端延遲降低了 45%；在容量測試中，於共享前綴情境下提供 7.4 倍的有效吞吐量，於多輪對話情境下約提供 3.5 倍。策略可將較簡單的提示路由至較便宜的模型、將突發溢流導向 Bedrock 與 Databricks 等供應商，或將標記為 PII 的請求保留在叢集內；各租戶指標涵蓋權杖速率、TTFT、ITL，以及快取與未快取的提示權杖。
推薦理由：Buoyant 的 Kinference 在 vLLM 之上加入了 KV 快取感知負載平衡與 YAML 推論策略，基準測試聲稱相較於標準 Kubernetes 服務路由，在 TTFT 與有效吞吐量上有大幅提升。
OpenAI 描述了訓練激活分類器（或稱探針）的方法，這些探針讀取模型內部的殘差流激活，以標記未對齊或違反政策的助手補全，並表示已從 GPT-5.6 開始在其最強能力模型的內部和外部流量上部署這些探針。這些探針採用 Attention probe 架構，結合 MLP 與 QV-attention 以及指數移動平均，使用最多 100 萬條由推理模型評審標註的訊息進行訓練，並在推理引擎上以串流方式運行，因此可以在回合中途封鎖補全。OpenAI 報告稱，探針在許多後訓練階段之間具有出色的遷移能力，但在預訓練檢查點之間的遷移較為有限，並表示在其紅隊測試中，探針整體上比基於內容的分類器對越獄更具穩健性。
推薦理由：OpenAI 詳述了內部模型激活上的激活探針如何作為串流安全層，包括它們在跨檢查點遷移方面的限制以及重新訓練的需求。
Anthropic 發布 FlashProve，這是一個開源原型，使用 zkSNARKs 來證明某個回應來自一個已承諾的模型，而不揭露其權重。在 Llama 4 Maverick（400B 參數 MoE，4 位元權重）上，單張 H100 以約 110 tokens/秒 的速度生成證明，每 1,024-token 請求的證明約 19 MB，約為 vLLM 完成相同工作所需 GPU 時間的 70-95 倍。此發布包含可執行的證明者與驗證者程式碼、一個 C++ 快速驗證器、一個 Lean 驗證器（具備機器檢查的完備性、可靠性和零知識陳述），以及一份技術報告，全部採用 Apache 2.0 授權。
推薦理由：Anthropic 的 FlashProve 顯示，基於 zkSNARK 的推理證明對於一個 400B 參數的 MoE 模型正變得實用，並附有開放程式碼和經 Lean 檢查的安全性聲明。
Replit 為既有儲存庫推出 Cloud Agents，讓團隊中任何人都能用自然語言描述變更，並由代理在 GitHub 或 GitLab 開啟經過測試的提取請求，所有 Pro 與 Enterprise 客戶皆可使用。代理會在隔離的雲端沙箱中執行每項變更、點擊操作運行中的應用程式，並將截圖與影片附加到 PR，而共享環境則為每位貢獻者提供預先配置的設定，並從主分支更新。Replit 同時推出早期存取的自我改進工作區記憶，可將審查意見轉化為由工程師核准的團隊技能，以及一項 Slack 整合，讓使用者在討論串中提及 @Replit 即可發起變更。
推薦理由：Replit 把 Cloud Agents 接入企業既有程式碼庫，讓非工程人員以帶測試影片的 PR 形式提交改動，展示了 AI 編碼工具向團隊協作流程延伸的一種路徑。
Preferred Networks 於 2026 年 10 月 27 日開始提供 PLaMo 3.1 Prime，新增網頁搜尋與 Deep Research 功能，可在數分鐘至數十分鐘內自主規劃、蒐集、分析並撰寫附來源引用的報告。Deep Research 亦可於地端執行，並能連接內部文件搜尋系統；該公司表示，相較於 PLaMo 3.0 Prime，包含 AA Omniscience 在內的八項幻覺相關基準測試平均分數提升約 15%。PFN 亦指出，透過推測解碼使處理速度提升 1.7 倍，且在非推理模式下輸出 token 減少 90%，並推出免費的 PLaMo API 方案，以及 PLaMo Chat 活動，於 2026 年 11 月 30 日前每日提供兩次 Deep Research。
推薦理由：PFN 的 PLaMo 3.1 Prime 新增可於地端執行的自主 Deep Research，為日本企業提供可本地部署、附來源引用的調查工作選項。
Modal 發布了 Spindle，這是一個開源、相容於 Tinker 的訓練伺服器，可在客戶的 Modal 工作區中運行，讓團隊能自訂技術堆疊，並按 GPU 時間而非 token 計費。Spindle 支援對開源模型進行全參數訓練與多 LoRA，Modal 表示，在一個 DAPO-math GRPO 任務上，讓 8 個客戶端共用一個訓練器，相較於 Tinker，每 100 萬輸出 token 的成本最多可降低 80%。Modal 表示 Spindle 仍處於 beta 階段，並將其定位於自家的 Dojo 訓練函式庫與原始叢集基礎元件之間。
推薦理由：Modal 的開源 Spindle 伺服器為團隊提供了一個相容於 Tinker 的替代方案，以 GPU 時間取代按 token 計費，據稱多 LoRA 共用可將成本最多降低 80%。
Mistral 發布 Voxtral 3，這是一系列語音轉文字與文字轉語音模型，外加一套建構於 LiveKit 之上的語音代理 SDK，能在單一管線中串流處理聆聽、推理、工具呼叫與說話。Voxtral Small Transcribe 3 涵蓋 50 多種語言，支援語者分離與上下文偏置；Voxtral Mini TTS 3 支援 35 多種語言與 50 多種方言；整套技術堆疊可透過 Mistral 的歐盟託管 API 或自行部署取得。定價方面，批次轉錄每分鐘 0.0035 美元起，TTS 每 100 萬字元 13 美元。
推薦理由：Mistral 的 Voxtral 3 將多語言語音模型與基於 LiveKit 的語音代理 SDK 搭配，為團隊提供可主權部署的即時語音代理選項。
Google 發布了 Meta TorchTitan 的 TPU 分支版本，可透過 TorchTPU 原生的 torch.device("tpu") 後端在 Cloud TPU 上執行 PyTorch 訓練，並附帶 TPU 原生核心與逐步最佳化指南。在 TPU v7x（Ironwood）上，Llama 3 405B 在 128 到 1,024 顆晶片之間維持約 57% MFU，Qwen3 235B 在單一 1,024 晶片切片上達到 32.42% MFU，FLUX.1 在 1,024 顆晶片上達到 19.4% MFU，弱擴展效率為 93%。該分支位於 https://github.com/google-pytorch/torchtitan/，另有 Transformers 建模後端與 agent 上手技能，可將同一訓練器延伸至其他檢查點。
推薦理由：Google 與 Meta 合作把 TorchTitan 移植到 TPU，並給出從 FLUX.1 到 Qwen3 235B 的逐級調優路徑與 MFU 數字，可作為 PyTorch 團隊評估 TPU 訓練可行性的參考。
Claude Code 團隊描述其分層的程式碼審查流程，其中大部分閱讀由機器完成，人類注意力則保留給基於風險的核准。從六月到九月，合併至 Claude Code 程式碼庫的拉取請求增加了一倍以上，而必須回退的比例下降了超過 40%。該流程在 PR 之前堆疊驗證、必要的 CI、Claude 審查、安全審查、風險分級的人工核准，以及帶有旗標和快速回滾的合併佇列，團隊並將過去的事件轉化為審查者的每日評估集。
推薦理由：Anthropic 的 Claude Code 團隊詳細說明了他們如何將大部分程式碼閱讀移至自動化層，同時合併的 PR 翻倍且回退下降超過 40%，為代理密集的團隊提供了一個可轉移的審查模型。
Meta 釋出了 Muse Spark Open 的權重，Modal 現在透過其 Auto Endpoints 以按 token 計費的方式提供該模型。該模型針對代理式編碼與長程任務，具備原生多模態理解、100 萬 token 上下文視窗、多步驟規劃、依序工具使用與失敗復原能力。Meta 回報，搭配 Terminus 2 代理在 Terminal-Bench 2.1 上得分 76.4，並在其偏好的測試框架下以 xhigh 推理強度在 DeepSWE 1.1 上得分 60。
推薦理由：Meta 的開放權重模型 Muse Spark Open 現已在 Modal 上提供，讓團隊能以按 token 計費的方式試用一款具備 100 萬 token 上下文視窗的代理式編碼模型。
Modal 的年化營收突破 10 億美元，並以 157.5 億美元投後估值完成由 Accel 領投的 7.5 億美元 D 輪融資，所有現有投資者均參與其中。該公司表示，自五個月前完成 C 輪融資以來，使用量已成長兩倍，較去年同期成長超過 15 倍，且光是其 Sandboxes 產品就達到 3 億美元的年化營收，已啟動近 30 億個沙箱。Modal 還描述了在橫跨 20 多個雲端的容量池上重建自家檔案系統、容器執行環境、排程器與網路，並指出近期推出多節點訓練、Modal 伺服器，以及 Sandboxes 正式可用的 VM。
推薦理由：Modal 的貼文說明了為何 AI 工作負載促使它在 20 多個雲端上重建自家檔案系統、容器執行環境與排程器，具體呈現了 AI 基礎設施堆疊如何與雲端堆疊分道揚鑣。
Amazon Web Services 研究人員提出 priming，此方法重用預訓練 Transformer 權重，將混合狀態空間架構的預訓練成本降低超過 99%，僅使用來源模型預訓練 token 預算的不到 0.5%。在受控比較中，Gated KalmaNet 優於 Gated DeltaNet 和 Mamba-2，而一個基於 GKA 的 32B 混合模型在推理基準上與其來源 Transformer 表現相當，同時在 128,000 token 上下文下解碼速度最高可達兩倍。團隊以 Apache 2.0 授權釋出了 8B 和 32B 的 primed 混合模型、訓練程式碼、Triton 核心以及 vLLM 服務外掛。
推薦理由：Amazon Web Services 研究人員展示，重用預訓練 Transformer 權重可將混合架構預訓練成本降低超過 99%，使狀態空間層的受控比較變得可行。
Anthropic 發布了 Claude Managed Agents（beta）的參考實作，它會依 cron 排程讀取 Slack 頻道與 GitHub 拉取請求，透過各來源的書籤追蹤自上次執行以來的變更，並將摘要發佈到 Slack。這份逐步說明涵蓋保存在 vault 中的憑證、唯讀存取與每次執行的支出上限，以及將失敗的來源回報為無法讀取而非當作平靜無事的一天，還有在更新書籤與帳本前先確認 Slack 發文成功等規則。一個帶有 claude-api 技能的 Claude Code 命令會依文章指引設定該代理。
推薦理由：Anthropic 分享了一個排程 Claude Managed Agents 的參考實作，它會讀取 Slack 與 GitHub，並針對書籤、讀取失敗與發文確認訂有具體規則。
3 並將其部署到生產推理堆疊上，其中一個低成本的探針會過濾對話輪次，只有可疑的交流才會送到 LLM 評審。良性會話中斷率為 5%，在沒有評審推理的情況下每百萬輪次成本為 65 美元，有評審推理時為 185 美元，並且在 SGLang 內沒有可測量的吞吐量損失。
推薦理由：Goodfire 展示了一種探針加評審的級聯方案，能以大約低 50 倍的成本監控代理式網路濫用，且沒有可測量的吞吐量損失，這是安全地提供開放模型服務的具體配方。
Addy Osmani 詳細介紹 Claude Code 雲端工作階段：每個任務都在 Anthropic 管理的新鮮 VM 上執行，儲存庫會複製到各自的分支，且雲端工作階段已包含在 Pro、Max、Team 與 Enterprise 方案中，不額外收取運算費用。在一個範例 Node 儲存庫上進行的四工作階段測試中，三個工作階段在彼此相隔 16 秒內啟動，並在第一个工作階段開始後 87 秒完成，而針對不穩定測試的工作階段執行了測試套件 40 次，零失敗。本指南涵蓋設定腳本、網路層級、GitHub 連線路徑，以及七種適合雲端工作階段的工作流程，同時指出對於需要本機資料、VPN 服務、GPU 或零資料保留的任務，本機工作階段仍是更合適的選擇。
推薦理由：一份 Claude Code 雲端工作階段的實戰指南，展示每個任務的 VM 如何實現平行工作，以及本機工作階段在哪些情況下仍更合適。
Claude Code mods 是小型 JavaScript 或 TypeScript 檔案，以隨外掛提供的 hooks 形式在工作階段內執行，可觀察事件、改寫行為，或在終端機或桌面應用程式中繪製自訂 UI。本指南打造 Token Weather，一個約 80 行的 mod，在每一輪之後讀取 $.session.usage()，並在提示上方繪製一條天氣樣式的上下文視窗帶，接著導覽 Blast Radius（會攔住有風險的 Bash 指令）與 Replay Theater（逐步檢視某一輪的編輯）。Mods 需要 Claude Code 2.1.287 或更新版本，且預設為開啟；這三個 mod 的完成版程式碼都在 anthropics/claude-code-playground。
推薦理由：一篇實作導向的 Claude Code mods 逐步教學，用約 80 行打造出可運作的上下文視窗計量器，展示 hooks、狀態與自訂 UI 如何彼此搭配。