技術方向
怎麼把模型跑得更快更省錢：推理加速、視訊記憶體與成本、服務部署與基礎設施選型。
62 條精選近 30 天 34 條共收錄 472 條
Modal 已正式推出 VM Sandboxes，讓代理透過相同的 API、modal.Images、亞秒級冷啟動與 CPU/記憶體爆發能力，取得完整的 Linux VM，與其現有的 gVisor 架構 Sandboxes 一致。當使用者需要 Docker、FUSE 檔案系統或特殊 Linux 核心功能時，可透過 runtime="vm" 啟用，而 gVisor 仍是預設執行環境。Modal 表示，早期客戶已啟動超過 2,000 萬台 VM，其中 Linear 將每個 Coding Session 都跑在 VM Sandbox 上，Legora 與 Snorkel 則用於法律代理評估與代理模擬。
推薦理由：Modal 的 VM Sandboxes 讓代理取得具備 Docker 與核心存取權限的完整 Linux 機器，同時保留既有的 Sandbox API 與亞秒級冷啟動。
Factory 已將 Automations 正式推出，讓團隊能描述重複性的工作流程，並由 Droid 依排程或事件觸發執行。每個自動化結合了觸發條件（排程、Slack、GitHub 或 webhook）、指令、使用者選擇的模型與推理等級，以及可為本機、已連線或由 Factory 管理的 Droid Computer 的機器。Factory 表示，過去 30 天內有 52% 的企業使用者執行自動化程式碼審查，48% 使用安全性審查，35% 使用 AutoWiki，且自動化工作階段數量較前 30 天成長 51%。
推薦理由：Factory 將 Automations 正式推出，顯示企業實際上把哪些重複性工程工作流程交給 Droid，以及模型與機器選擇如何依任務運作。
OpenClaw 宣布推出 OpenClaw Enterprise（OCE），這是一個開源、廠商中立的平台，用於在敏感環境中管理持久性代理，目前仍在開發中，預計於今年稍晚發布 1.0 版本。OCE 新增了企業控制平面，具備多租戶、嚴格安全邊界、沙箱、基於 LLM 的審查與細粒度權限，並允許將執行框架、模型與沙箱替換為第三方或內部實作。組織今天即可透過 docker-compose 進行本地開發，或透過 kubernetes 進行內部部署來自架設，目前正在包括 Red Hat 與 OpenAI 在內的公司進行試點。
推薦理由：OpenClaw Enterprise 是一個開源控制平面，用於在敏感環境中管理持久性代理，具備多租戶、嚴格安全邊界與可審計性，現已可供內部試點工作負載使用。
Anthropic 在 Claude Code 內的 claude-api 技能中新增了兩個指令：/claude-api build-eval 會在你的程式碼庫中建立評估集，而 /claude-api hillclimb 則會針對該評估反覆迭代應用程式，並以保留集來捕捉過擬合。
推薦理由：Anthropic 在其 claude-api 技能中新增 build-eval 與 hillclimb 指令，展示 Claude Code 如何設計評估並針對評估反覆迭代，同時防範過擬合。
Anthropic 發布 Claude Sonnet 5.5，這是繼 Opus 5.5 之後 Claude 5.5 系列的第二個模型。該公司表示，它在相同每 token 價格下比 Sonnet 5 更聰明、更高效，且速度提升 30%。由於每項任務通常需要更少的 token，Anthropic 表示大多數工作的成本最多可降低 30%。該模型原生支援 100 萬 token 上下文視窗、最高 128k 輸出，並預設開啟思考功能。發布指南列出了 Sonnet 5 使用者的破壞性變更，包括以 between_tools 設定取代已停用的思考功能、將強制 tool_choice 改為 auto 加 strict tools，以及將電腦使用功能移至 computer_toolset_20260801 工具集。
推薦理由：Anthropic 的 Sonnet 5.5 維持 Sonnet 5 的定價，同時降低每項任務的 token 用量，而遷移說明則顯示了已在 Sonnet 5 上建置的團隊需要做哪些變更。
OpenClaw 支援另行設定的決策模型，其核心與外掛可透過 Plugin SDK 中的 api.runtime.decisions.evaluate 呼叫，回傳選項、分數或機率，而非聊天回覆。此功能為選用式，不會取代聊天模型，且各供應商套件仍在等待支援版本發布。TypeSafe 轉接器支援託管的 Jev 與本地的 System One 伺服器（例如 Jared Palmer 的 Kev），而評估工具正以 decision_evaluate 之名移入 OpenClaw 核心。
推薦理由：OpenClaw 新增選用式決策模型層，可從應用程式碼回傳具型別的答案，並提供共用的 Plugin SDK 介面，讓外掛無須逐一整合各供應商即可使用。
Qwen3.8-2.4T-A95B 已作為開源權重模型發布，並同步在 Modal 上線。Modal 表示其與 Qwen 在發布前合作，透過 SGLang 和針對 Qwen3.8 形狀調校的定製 DFlash 推測器，為 Modal Auto Endpoints 提供 day zero 支援。
推薦理由：Modal 在 Qwen3.8-2.4T-A95B 開源權重發布當天即上線共享端點，並說明其定製 DFlash 推測器如何針對該模型的形狀提升推理速度。
Modal 在 Moonshot 的 Kimi K3 發布當天，便於其平台上架這款 2.8 兆參數的多模態模型，透過按 token 計價的 Shared API 與專用 Auto Endpoints，提供 100 萬 token 的上下文視窗。Modal 表示，一款針對 K3 架構調校的客製化 DFlash 推測器，在代理式工作負載下，將互動性從每秒 100 個 token 提升至每秒 460 個 token，並將每顆 GPU 的吞吐量從 80 萬 TPM 提升至 150 萬 TPM。該模型採用混合專家設計，每個 token 啟用 896 個專家中的 16 個，而 Moonshot 在發布前也向 vLLM 貢獻了新的前綴快取實作。
推薦理由：Modal 詳細說明它如何在發布當天將 Moonshot 的 2.8 兆參數 Kimi K3 上架至其平台，其中包括一款客製化 DFlash 推測器，可將互動性從每秒 100 個 token 提升至每秒 460 個 token。
Modal 從頭重建了其核心沙箱平台，並在新系統上同時執行 100 萬個沙箱，且全部在不到一分鐘內建立完成。此次重新設計將中央協調與任何資料儲存從沙箱建立路徑中移除：水平擴展的排程伺服器以記憶體內演算法挑選一個 worker 並直接呼叫它，而 worker 則非同步地將狀態發布到 Redis stream。Modal 表示沙箱啟動延遲的中位數低於半秒，且新系統已以 Beta 版推出，只需改一行程式碼即可選擇啟用。
推薦理由：Modal 重建了其沙箱控制平面以移除中央協調，展示了一旦全域一致性離開關鍵路徑，容器排程能擴展到多大的規模。
Thinking Machines 發布了 Inkling，這是一個通用多模態模型，可接收文字、圖像和音訊輸入並輸出文字，而 Modal 從第一天起就以基於 token 的定價，透過受管端點（Managed Endpoint）提供該模型。Inkling 是一個混合專家（MoE）Transformer，總參數 975B，活躍參數 41B，上下文視窗 1M token，原生支援音訊與視覺，每五層滑動視窗注意力層搭配一層完整注意力層。在配備 8 張 B200 的代理式工作負載上，Modal 自訂的 DFlash 推測器在每 GPU 吞吐量 2.5M TPM 時，達到每位使用者每秒 250 個 token，在相同吞吐量下，互動速度比模型內建的推測路徑快 67%。
推薦理由：Modal 為 Thinking Machines 的 975B 參數 Inkling 提供首日端點，展示了自訂 DFlash 推測器如何將互動速度提升至比模型內建推測路徑快 67%。
Anthropic 於 6 月 30 日推出 Claude Science，這是一個 AI 工作台，生命科學研究人員可在與 Claude 的對話中直接執行運算工作負載。Modal 作為運算後端整合其中：需要 GPU 或大量並行 CPU 的工作負載，會從研究人員已連接的工作區自動路由到 Modal 沙箱，而預設執行仍在本機沙箱中進行。Modal 舉例說明可跨數百個容器進行扇出式虛擬篩選、為 ESMFold2 等模型提供逐步 GPU 存取、共享 Modal Volumes 儲存與可重現的 Modal Images，並為 Anthropic 的 AI for Science Claude Science Cohort 提供最高 100,000 美元的運算資源，每項專案 500 至 2,000 美元，申請開放至 2026 年 7 月 15 日。
推薦理由：Modal 的文章說明了 Claude Science 如何將 GPU 與平行工作負載路由到 Modal 沙箱，並附上具體的生命科學範例，以及為學術實驗室提供的運算補助。
Modal 推出 Auto Endpoints，這是一項自助式服務，可將生產級 LLM 推論部署為相容 OpenAI API 的端點，並由使用者可見且可控制的 Modal App 支援。每個支援的模型都附帶一個起始部署，該部署依據 Modal 自身的基準測試調校，使用 SGLang 等引擎以及來自 Z Lab 的 DFlash 推測解碼草稿器，使用者可以檢視 GPU 選擇、引擎旗標，以及 TTFT、ITL 和推測解碼接受長度等推論指標。Modal 也將 Modal Servers 從 beta 版釋出，提供延遲僅 5ms 的區域化路由，並表示其透過內部代理系統產生端點部署，且仍由人類工程師監控。
推薦理由：Modal 的 Auto Endpoints 公開了託管推論供應商通常隱藏的服務堆疊、引擎指標和基準測試配方，為團隊提供一條自助途徑，以擁有開放模型的推論能力。
Modal 在 Hugging Face 上發布了一系列針對 Qwen 系列的 DFlash 草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 以及從 4B 到 122B-A10B 的 Qwen 3.5 變體，另外還有一個用 SGLang 構建的 Qwen 3.5 397B-A17B 的 DFlash 推測器。該公司表示，新的草稿模型比現有的 DFlash 基線額外提速 5-20%，並且可以在 B200 節點上以並發度 1 運行 Qwen 3.5 122B-A10B 達到超過 1000 tok/s，而無推測時為 250 tok/s。文章認為，在內核優化只能帶來幾個百分點提升的地方，推測解碼可帶來 2 倍至 3 倍的增益，並提出了一個用於根據接受長度估算加速比的 roofline 模型。
推薦理由：Modal 解釋了為何押注推測解碼，並發布了針對 Qwen 系列的 DFlash 草稿模型，附帶實測加速數據和用於估算增益的 roofline 模型。
Factory 正在 Droid 中推出自動化安全審查，該功能會在每個非草稿 PR 上，於標準程式碼審查之外執行基於 STRIDE 的安全審查，並以行內留言的形式在 diff 上張貼發現，包含嚴重程度、CWE 參照、說明與建議修正。該公司表示，Droid 的安全審查已在生產程式碼庫中執行，並揭露了經過負責任揭露流程的發現，包括 external-secrets 中的 CVE-2026-42876 以及 workos/workos-node#1578。Droid 會為變更範圍建立輕量威脅模型，掃描 OWASP Top 10 與 OWASP LLM Top 10 等漏洞，接著對照 diff 驗證每個候選發現以過濾誤報，最後每個 PR 只張貼一則去重後的摘要。
推薦理由：Factory 的 Droid 現在會在每個非草稿 PR 上執行基於 STRIDE 的安全審查，而該文章展示了它在生產程式碼庫中揭露的真實 CVE。
MiniMax 將 MiniMax Agent 升級並更名為 Mavis，同時推出 Agent Teams，讓多個角色分工的 Agent 在桌面上並行處理長時間、複雜的任務。該系統採用 Leader、Worker 與 Verifier 三種角色，搭配狀態機式 Team Engine，讓任務在 producing、verifying 與 done 之間循環，並將 TokenPlan 與 Agent Plan 合併為單一訂閱，涵蓋 CLI、API 與 Agent，橫跨 M2.7、音樂、影片與語音。MiniMax 表示該 Agent 即將開源，預計與 MiniMax M3 模型一同推出，而桌面應用程式已經上線。
推薦理由：MiniMax 說明了其 Leader-Worker-Verifier Agent Team 背後的設計取捨，包括交接、共享與聚合成本，為建構多 Agent 執行環境提供了具體參考。
OpenAI 發布了一份 API 部署檢查清單，引導開發者將工作負載遷移到 Responses API 與 GPT-6 模型系列，包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。該指南涵蓋從 low 到 max 的 reasoning.effort 等級、text.verbosity、搭配延遲工具載入的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 以及 WebSocket 模式；OpenAI 表示，對於工具呼叫達 20 次以上的工作流程，WebSocket 模式已展現出端到端執行速度最高約提升 40%。指南也詳細說明可靠性與安全步驟，例如處理 429 與 503 錯誤、以 background=True 處理長時間任務、safety_identifier 以及 misalignment 監控。
推薦理由：OpenAI 的官方部署檢查清單將模型選擇、推理強度、工具搜尋、compaction 與 WebSocket 模式整合為一份 GPT-6 工作負載的遷移指南。
Modal 推出 GLM-5 的免費 OpenAI API 相容端點，可用至 4 月底，限單個並發請求，同時發布在單節點 8 張 B200 上用 SGLang 部署的可重現程式碼。
推薦理由：Modal 為 Z.ai 的 GLM-5 提供免費 OpenAI 相容端點，並給出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具體配置。
Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼，逆向解析這個針對 Blackwell 最佳化的注意力核心如何運作，因為目前尚無官方技術報告。這篇文章追蹤一個 tile 如何流經該核心的 warp 特化非同步管線，並詳述兩個數學技巧：一個可取代基於 SFU 之指數運算的三次多項式軟體指數，以及一個更聰明的線上 softmax 重新縮放規則，Tri Dao 表示這能將修正次數減少 10 倍。據報導，FA4 比 Nvidia 的閉源 cudnn 注意力核心快約 20%，而撰文時尚無反向版本可用。
推薦理由：Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼，解釋其 warp 特化管線與兩個數學技巧，提供了一個可轉移的視角，說明 CUDA 核心設計的發展方向。
Modal 宣布 GPU 記憶體快照進入 alpha 階段，將其既有的 checkpoint/restore 系統延伸至擷取 GPU vRAM、CUDA 核心、串流與上下文，讓 GPU 工作負載能從凍結狀態還原，而非在開機後重建 CUDA 狀態。
推薦理由：Modal 將 GPU 狀態納入其記憶體快照，讓 torch.compile 與 vLLM 工作負載的冷啟動時間最多縮短 10 倍，並使 scale-to-zero 更為實用。
Modal 為其無伺服器 GPU 容器執行環境推出記憶體快照還原功能，並表示這能讓冷啟動比標準容器啟動快約 2.5 倍。一個通常需要約 13 秒的 Stable Diffusion 推論 Function，現在只需 3.5 秒即可還原；而一個簡單的 import torch 程式，則從約 5 秒降至 p50 約 1.05 秒、p0 約 0.69 秒。快照建構於 gVisor 的 checkpoint/restore 之上，並依需求建立；當還原失敗時，會自動退回標準容器啟動。GPU 狀態目前尚未被儲存，因此還原後必須重建。
推薦理由：Modal 說明以 gVisor 為基礎的記憶體快照如何縮短無伺服器冷啟動，並提供 Stable Diffusion Function 與 torch import 範例的具體還原時間。