跳至正文
10月2日星期五
  1. Vapi Blog58

    Vapi 向所有客戶開放 GPT-Live 測試版,將語音代理拆分為說話者與推理者

    Vapi 已向所有 Vapi 客戶開放其 GPT-Live 測試版,此前該公司上月與 OpenAI 的全雙工語音轉語音模型進行了有限測試。在 Vapi 上,該模型作為說話者運行,處理整通電話,並將查詢或操作委派給獨立的推理者模型,交接透過兩個提示而非一個提示來控制。現有電話號碼、工具、測試與可觀測性均可沿用,轉錄器配置被移除,語音切換為 OpenAI 的 22 種之一。

10月1日星期四
  1. Modal Blog58

    Modal Clusters 正式可用,透過 @modal.clustered 一行程式碼取得多節點 RDMA 叢集

    Modal 宣布 Modal Clusters 已正式開放給所有工作區使用,使用者可透過單一裝飾器 @modal.clustered 申請多節點叢集。這些叢集提供高達 6.4 Tbps 的 InfiniBand RDMA 通訊,並自動為 PyTorch 與 NCCL 完成設定,叢集可在數秒內啟動,且按秒計費。Modal 同時說明了一套新的 gang 排程器,可一次放置 N 個節點,以及內建於 gVisor 執行環境的 RDMA 支援;文中並以 Decagon、1x 與 Runway 作為使用者案例,分別用於兆級參數微調、世界模型預訓練與多節點影片推論。

  2. Modal Blog58

    Modal 推出 Sidecars,為 Sandboxes 提供低延遲的信任邊界

    Modal 推出 Beta 版 Sidecars,這是與 Sandbox 在同一主機上並行運行的隔離容器,用於將憑證、代理和 harness 邏輯等受信任程式碼與不受信任的代理生成程式碼分開。Modal 表示,Sandbox 與其 Sidecars 之間的通訊速度至少比同一區域內不同 Sandbox 之間快 3 倍,每次呼叫的 p50 傳輸時間為 0.58ms,而後者為 2.6ms。每個 Sidecar 都有自己的出站網路策略,單一 Sandbox 最多可運行 250 個 Sidecars,Ramp 已使用該功能在其 Inspect 編碼代理旁運行自訂出口代理。

  3. Modal Blog60

    Modal 推出 VM Sandboxes,讓代理取得完整 Linux VM 並支援 Docker

    Modal 已正式推出 VM Sandboxes,讓代理透過相同的 API、modal.Images、亞秒級冷啟動與 CPU/記憶體爆發能力,取得完整的 Linux VM,與其現有的 gVisor 架構 Sandboxes 一致。當使用者需要 Docker、FUSE 檔案系統或特殊 Linux 核心功能時,可透過 runtime="vm" 啟用,而 gVisor 仍是預設執行環境。Modal 表示,早期客戶已啟動超過 2,000 萬台 VM,其中 Linear 將每個 Coding Session 都跑在 VM Sandbox 上,Legora 與 Snorkel 則用於法律代理評估與代理模擬。

    推薦理由:Modal 的 VM Sandboxes 讓代理取得具備 Docker 與核心存取權限的完整 Linux 機器,同時保留既有的 Sandbox API 與亞秒級冷啟動。

  4. Modal Blog42

    Modal Runtime 綜合報導:VM 沙箱、Modal 叢集等更多內容

    Modal 發布 VM 沙箱,為代理提供完整的 Linux 電腦,可用於 Docker 堆疊、本機資料庫與行動模擬器,Linear、Legora 與 Snorkel 已在使用。Modal 叢集現已透過 @modal.clustered 裝飾器正式推出,支援跨協調容器的兆級參數訓練與服務。另推出黏性工作階段與端點候選,後者處於私人測試階段。

9月30日星期三
  1. Factory62

    Factory 將 Automations 正式推出,供 Droid 代理使用

    Factory 已將 Automations 正式推出,讓團隊能描述重複性的工作流程,並由 Droid 依排程或事件觸發執行。每個自動化結合了觸發條件(排程、Slack、GitHub 或 webhook)、指令、使用者選擇的模型與推理等級,以及可為本機、已連線或由 Factory 管理的 Droid Computer 的機器。Factory 表示,過去 30 天內有 52% 的企業使用者執行自動化程式碼審查,48% 使用安全性審查,35% 使用 AutoWiki,且自動化工作階段數量較前 30 天成長 51%。

    推薦理由:Factory 將 Automations 正式推出,顯示企業實際上把哪些重複性工程工作流程交給 Droid,以及模型與機器選擇如何依任務運作。

  2. Vapi Blog58

    Vapi 推出 Personal Agent Calling 測試版,讓助理代打電話

    Vapi 推出 Personal Agent Calling 測試版,讓個人助理撥打電話給企業、操作電話選單、進行對話,並回報結果。此功能支援 Muse、Instinct、GrokBot、ChatGPT Work、Claude Code、OpenClaw 和 Hermes 等助理,使用者只需貼上一段提示詞,引導助理前往 phone.vapi.ai。在一次測試中,營收主管 Bryan Parman 的助理與航空公司通話時等候了 14 分鐘,並拒絕了 51.69 美元的升等費用,隨後客服人員免除該費用,並免費確認了一個 Economy Plus 走道座位。

9月29日星期二
  1. Vapi Blog55

    Vapi 推出 CX 工具包,用於建置與改善客服語音代理

    Vapi 推出 Vapi for CX,這是一套用於建置、部署、觀測與最佳化客戶體驗語音代理的工具包。它結合了供 CX 團隊使用的自然語言 Composer,以及可透過 API、CLI 和 MCP 伺服器存取的同一個設定物件,另外還包含評估、版本控制、備援方案、通話評分卡,以及跨轉錄器、模型和語音的每週延遲、成本與品質資料。Vapi 表示,Amazon Ring 在評估超過 40 家供應商後,將其 100% 的來電量運行於該平台上;Kavak 則能在約五分鐘內建置新的代理版本,NPS 提升了 20 點。

  2. OpenClaw Blog71

    OpenClaw Enterprise 推出,作為管理持久性代理的開源平台

    OpenClaw 宣布推出 OpenClaw Enterprise(OCE),這是一個開源、廠商中立的平台,用於在敏感環境中管理持久性代理,目前仍在開發中,預計於今年稍晚發布 1.0 版本。OCE 新增了企業控制平面,具備多租戶、嚴格安全邊界、沙箱、基於 LLM 的審查與細粒度權限,並允許將執行框架、模型與沙箱替換為第三方或內部實作。組織今天即可透過 docker-compose 進行本地開發,或透過 kubernetes 進行內部部署來自架設,目前正在包括 Red Hat 與 OpenAI 在內的公司進行試點。

    推薦理由:OpenClaw Enterprise 是一個開源控制平面,用於在敏感環境中管理持久性代理,具備多租戶、嚴格安全邊界與可審計性,現已可供內部試點工作負載使用。

9月24日星期四
  1. Vapi Blog25

    Vapi 工程師解答關於模型智慧、模擬與活動的熱門問題

    Vapi 產品工程師 Mhar Andal、Scott Lowe 與 Adham El Fawal 在 9 月 22 日的網路研討會中示範了模型智慧、模擬與活動,並回答開發者的熱門問題。模型智慧會推薦轉錄器、LLM 與語音預設,並顯示成本、延遲與品質指標;模擬則以 AI 測試器執行並提供通過/失敗結果;活動可撥打最多 10,000 筆聯絡人的名單。

  2. Modal Blog58

    Modal 與 CMU 的 Full Stack Data Lab 發布 Quail,一款聯合優化查詢規劃器與推理的 AI-SQL 推理引擎

    Modal 與卡內基美隆大學的 Full Stack Data Lab 打造了 Quail,一款針對 AI-SQL 工作負載的查詢感知推理引擎,聯合優化 SQL 查詢規劃器與推理引擎。在一個多重 join 查詢上,它每張 H100 GPU 每分鐘處理超過十億個 token,比同一硬體上 Modal 的 vLLM 基線快 10 倍以上,每十億 token 成本低於 6 美分;在團隊新的 AI-SQL 基準測試上,其幾何平均速度比 vLLM 快 1.84 倍。由於 AI-SQL 的過濾與 join 每個序列只需一個 token,Quail 跳過解碼、取樣與 prefill-decode 分離,並利用已知的查詢計畫來排序請求與管理 KV 快取淘汰。

9月22日星期二
  1. LiveKit Blog38

    LiveKit 推出 Private Links,讓代理安全存取內部資源

    LiveKit 推出了 Private Links,這是一條全代管的加密通道,讓 LiveKit 代管的代理能透過 AWS PrivateLink 或 Azure Private Link 存取私有的內部資源,無需公開 IP、輸入防火牆規則或 VPN 基礎架構。流量會經由 WireGuard 通道路由至同一雲端區域的 LiveKit 閘道,且僅支援以 TLS 保護的 TCP 連線。可透過 LiveKit CLI 或 Dashboard 進行設定,並在客戶端進行一次性連線核准。

  2. OpenClaw Blog60

    OpenClaw 新增選用式決策模型與共用 Plugin SDK 介面

    OpenClaw 支援另行設定的決策模型,其核心與外掛可透過 Plugin SDK 中的 api.runtime.decisions.evaluate 呼叫,回傳選項、分數或機率,而非聊天回覆。此功能為選用式,不會取代聊天模型,且各供應商套件仍在等待支援版本發布。TypeSafe 轉接器支援託管的 Jev 與本地的 System One 伺服器(例如 Jared Palmer 的 Kev),而評估工具正以 decision_evaluate 之名移入 OpenClaw 核心。

    推薦理由:OpenClaw 新增選用式決策模型層,可從應用程式碼回傳具型別的答案,並提供共用的 Plugin SDK 介面,讓外掛無須逐一整合各供應商即可使用。

9月17日星期四
  1. Descript Changelog20

    Descript 2026 年 9 月 17 日版本更新總覽:字幕預設、AI 音樂與音效、多幣別結帳

    Descript 2026 年 9 月 17 日的更新新增 18 種字幕預設與 10 種全新文字動畫,並在 145.0.15 或更新版本中,將 AI 生成的背景音樂與音效直接放置於時間軸上。結帳功能現在會以當地貨幣顯示價格,並支援 Apple Pay、Google Pay、Cash App 及其他選項,語音選擇器則取自 ElevenLabs 語音庫。

9月14日星期一
  1. Modal Blog40

    Modal 產品更新:沙箱 Sidecar、Kimi K3 與 GLM 5.3 支援、儀表板煥新

    Modal 在其 Auto Endpoints 上新增了對四個開放權重模型的零日支援——Kimi K3、Qwen3.8-2.4T-A95B、GLM-5.3 與 GLM-5.3-Flash,其中 Kimi K3 透過自訂的 DFlash 推測器在代理式工作負載上以每秒 460 個 token 執行。Sandbox Sidecars 進入公開 alpha,VM Sandboxes 達到公開 beta,廣泛區域定價倍數從 1.5x 降至 1.15x。儀表板煥新並推出淺色模式 beta,Python SDK 1.5.5 以及 JavaScript 與 Go SDK 0.10.0 已發布。

9月3日星期四
  1. Vapi Blog40

    Vapi 開放 GPT-Live 語音轉語音模型私人測試與公開候補名單

    Vapi 已為 GPT-Live 開放限量私人測試,這是 OpenAI 的新一代全雙工語音轉語音模型,同時也開放公開候補名單供搶先體驗。GPT-Live 將語音轉文字、LLM 與語音這三個模組化流程整合進單一模型,藉此縮短輪次延遲並保留語氣與強調。測試團隊在與現有模組化代理相同的 Vapi 堆疊上運行它,模組化流程仍持續支援。

9月2日星期三
  1. LiveKit Blog38

    LiveKit 非生產環境部署讓你在正式上線前測試語音代理

    LiveKit 新增了非生產環境部署,可在與正式環境相同的容器映像、專案與密鑰下,以不同名稱執行語音代理,只需一個指令即可建立。每個部署閒置時會休眠且不產生費用,並在下一次請求時喚醒,你可以用 --deployment 旗標指定它。Python 需 livekit-agents 1.6+,Node 需 @livekit/agents 1.7.1+,方案在 Ship 提供 2 個部署、Scale 提供 5 個部署。

9月1日星期二
  1. LiveKit Blog58

    LiveKit 推出 Connectors,將語音代理帶到 Twilio 與 WhatsApp 通話

    LiveKit 推出 Connectors,這是 LiveKit 房間與 Twilio Programmable Voice 及 WhatsApp Business Calling 之間的直接橋接,並計畫支援更多平台。每通電話都會以 CONNECTOR 參與者身分加入房間,並攜帶平台情境資訊,例如 Twilio 通話 SID 或 WhatsApp 來電者的電話號碼,而代理調度會在同一個 API 請求中完成。Connectors 已在 LiveKit Cloud 正式推出,採用 SIP 定價,Ship 方案為每分鐘 $0.004,Scale 方案為每分鐘 $0.003,Build、Ship 和 Scale 方案分別支援 5、20 和 100 路並行 connector 通話。

8月31日星期一
  1. Vapi Blog58

    Vapi 重建 Campaigns,支援一萬筆聯絡人的批次外呼

    Vapi 推出重建版的 Campaigns,這是其批次外呼產品,現在運行於一個獨立於通話佇列之外的持久化工作流程引擎上。每個活動最多可容納 10,000 筆聯絡人,外加一個 assistant 或 squad 以及一個電話號碼,撥號僅限於設定的時間窗口內進行,assistant 提示中可帶入每位聯絡人的變數,並有一個撥號前的 webhook 可跳過已轉換的聯絡人。Vapi 表示,活動狀態會持久化於任何單一流程之外,並行處理以滑動窗口而非批次方式運行,且每次狀態變更都會附加一個不可變事件,因此進度和稽核軌跡不會偏離。

8月24日星期一
  1. LiveKit Blog22

    LiveKit 為代理工作階段、錄音、WebRTC 與 SIP 連線推出按秒計費

    LiveKit 已將代理工作階段分鐘數、錄音、WebRTC 連線與 SIP 連線改為按秒計費,最低以十秒為增量單位,適用於所有方案與帳戶,包括企業合約。此變更已上線,並將於九月的帳單中反映八月的用量,對客戶而言沒有技術上的變更。LiveKit 表示,按分鐘計費與僅持續數秒的短暫外撥通話不相符,限制了該使用情境。

8月20日星期四
  1. LiveKit Blog38

    LiveKit 為 Agent Observability 新增 PII 遮蔽功能

    LiveKit 已在 Agent Observability 中加入 PII 遮蔽功能,可在錄音與逐字稿儲存前自動移除姓名、地址、生日及其他敏感細節,且對所有 Agent Observability 客戶不額外收費。由 LLM 依上下文閱讀每段對話以偵測 PII,將詞語替換為標記,並從音訊中移除整個輪次。涵蓋 10 個群組共 41 種 PII 類型,需使用 Python 或 Node.js 的 LiveKit Agents SDK 1.7.0。

8月18日星期二
  1. Vapi Blog55

    Vapi 推出 Simulations,用 AI 來電者測試語音代理

    Vapi 推出 Simulations,這是一項原生 AI 驅動的測試功能,會在與語音代理通話的另一端放置具有鮮明個性、且情境取自客戶的 AI 測試員。每次執行都會回傳通過/失敗結果、完整逐字稿與錄音,團隊可以模擬 API 回應、執行低成本的純文字聊天模式或完整語音模式,並可透過 API 觸發執行,搭配品質閘門,在通過率下降時阻擋部署。

8月13日星期四
  1. Factory38

    Factory 為企業推出 Agent Effectiveness 分析功能

    Factory 已在 Factory Analytics 中向企業組織全面推出 Agent Effectiveness,將 Factory 工作階段與週期時間、工作意圖及已交付產出連結起來。此功能新增 Throughput、Output 與 Attribution 檢視,將 Droid 使用情況與交付成果連結,並由 Local Signals 分類層支援,該層可讀取 Jira、Linear、GitHub 與 GitLab 的資料。此功能為選擇加入、預設關閉,且需要 Advanced Analytics 企業控制項。

8月12日星期三
  1. Modal Blog62

    Qwen3.8-2.4T-A95B 開源權重發布,Modal 同步上線共享端點

    Qwen3.8-2.4T-A95B 已作為開源權重模型發布,並同步在 Modal 上線。Modal 表示其與 Qwen 在發布前合作,透過 SGLang 和針對 Qwen3.8 形狀調校的定製 DFlash 推測器,為 Modal Auto Endpoints 提供 day zero 支援。

    推薦理由:Modal 在 Qwen3.8-2.4T-A95B 開源權重發布當天即上線共享端點,並說明其定製 DFlash 推測器如何針對該模型的形狀提升推理速度。

8月4日星期二
  1. Modal Blog34

    Modal 將無伺服器 Functions 遷移至區域 I/O 平面,p50 延遲降低約 80ms

    Modal 已將所有 Functions 遷移至新的地理分散式 I/O 平面,使端到端 Function Call 延遲在 p50 下降低約 80ms。先前每個 Function 的輸入與輸出都經由 us-east I/O 伺服器路由,每次呼叫增加最多數百毫秒;新平面已在至少 4 個區域提供,並可透過 routing_region 旗標選擇。伺服器層以 Go 重寫,非關鍵工作已移出熱路徑。

7月27日星期一
  1. Modal Blog75

    Moonshot 的 Kimi K3 現已在 Modal 上線,並提供首日 vLLM 支援

    Modal 在 Moonshot 的 Kimi K3 發布當天,便於其平台上架這款 2.8 兆參數的多模態模型,透過按 token 計價的 Shared API 與專用 Auto Endpoints,提供 100 萬 token 的上下文視窗。Modal 表示,一款針對 K3 架構調校的客製化 DFlash 推測器,在代理式工作負載下,將互動性從每秒 100 個 token 提升至每秒 460 個 token,並將每顆 GPU 的吞吐量從 80 萬 TPM 提升至 150 萬 TPM。該模型採用混合專家設計,每個 token 啟用 896 個專家中的 16 個,而 Moonshot 在發布前也向 vLLM 貢獻了新的前綴快取實作。

    推薦理由:Modal 詳細說明它如何在發布當天將 Moonshot 的 2.8 兆參數 Kimi K3 上架至其平台,其中包括一款客製化 DFlash 推測器,可將互動性從每秒 100 個 token 提升至每秒 460 個 token。

7月21日星期二
  1. Modal Blog58

    Modal 與 Cognition 推出 Devin Outposts,整合 modal-devin 沙箱

    Modal 是 Devin Outposts 的發布合作夥伴。Devin Outposts 是 Cognition 的功能,將 Devin 的程式碼執行移到客戶控制的環境,而 Devin 的推理仍留在 Cognition 的雲端。開源的 modal-devin 函式庫與 CLI 會在 Modal Sandbox 中執行每個 Outpost 工作階段,提供 GPU 支援的機器、自訂映像、工作區快照與縮減至零,並自 2026 年 7 月 21 日起以 alpha 版上線。設定使用 uvx modal-devin init,會產生一個協調器函式與一個工作階段函式,團隊可持續自訂。

7月16日星期四
  1. Modal Blog60

    Modal 重建其沙箱平台,可執行 100 萬個並行沙箱,且全部在不到一分鐘內建立完成

    Modal 從頭重建了其核心沙箱平台,並在新系統上同時執行 100 萬個沙箱,且全部在不到一分鐘內建立完成。此次重新設計將中央協調與任何資料儲存從沙箱建立路徑中移除:水平擴展的排程伺服器以記憶體內演算法挑選一個 worker 並直接呼叫它,而 worker 則非同步地將狀態發布到 Redis stream。Modal 表示沙箱啟動延遲的中位數低於半秒,且新系統已以 Beta 版推出,只需改一行程式碼即可選擇啟用。

    推薦理由:Modal 重建了其沙箱控制平面以移除中央協調,展示了一旦全域一致性離開關鍵路徑,容器排程能擴展到多大的規模。

7月15日星期三
  1. Modal Blog60

    Thinking Machines 的 Inkling 多模態模型現已在 Modal 上推出

    Thinking Machines 發布了 Inkling,這是一個通用多模態模型,可接收文字、圖像和音訊輸入並輸出文字,而 Modal 從第一天起就以基於 token 的定價,透過受管端點(Managed Endpoint)提供該模型。Inkling 是一個混合專家(MoE)Transformer,總參數 975B,活躍參數 41B,上下文視窗 1M token,原生支援音訊與視覺,每五層滑動視窗注意力層搭配一層完整注意力層。在配備 8 張 B200 的代理式工作負載上,Modal 自訂的 DFlash 推測器在每 GPU 吞吐量 2.5M TPM 時,達到每位使用者每秒 250 個 token,在相同吞吐量下,互動速度比模型內建的推測路徑快 67%。

    推薦理由:Modal 為 Thinking Machines 的 975B 參數 Inkling 提供首日端點,展示了自訂 DFlash 推測器如何將互動速度提升至比模型內建推測路徑快 67%。

6月30日星期二
  1. Modal Blog66

    Anthropic 推出 Claude Science,以 Modal 作為可擴展的運算後端

    Anthropic 於 6 月 30 日推出 Claude Science,這是一個 AI 工作台,生命科學研究人員可在與 Claude 的對話中直接執行運算工作負載。Modal 作為運算後端整合其中:需要 GPU 或大量並行 CPU 的工作負載,會從研究人員已連接的工作區自動路由到 Modal 沙箱,而預設執行仍在本機沙箱中進行。Modal 舉例說明可跨數百個容器進行扇出式虛擬篩選、為 ESMFold2 等模型提供逐步 GPU 存取、共享 Modal Volumes 儲存與可重現的 Modal Images,並為 Anthropic 的 AI for Science Claude Science Cohort 提供最高 100,000 美元的運算資源,每項專案 500 至 2,000 美元,申請開放至 2026 年 7 月 15 日。

    推薦理由:Modal 的文章說明了 Claude Science 如何將 GPU 與平行工作負載路由到 Modal 沙箱,並附上具體的生命科學範例,以及為學術實驗室提供的運算補助。

6月25日星期四
  1. Modal Blog55

    Modal 推出適用於低延遲 HTTP、WebSocket 與 gRPC 流量的無伺服器 Servers

    Modal 推出 Servers,這是一組區域化、可自動擴縮的 HTTP 伺服器副本池,用於處理 HTTP、WebSocket 與 gRPC 流量,鎖定對延遲敏感的工作負載,例如互動式代理的 LLM 推論。Modal 表示,他們將控制平面的查詢與排隊移出請求路徑,把 p50 延遲從 39ms 降到 6ms,因此當沒有可用副本時,用戶端會收到 503,必須在應用程式中自行處理負載卸除。路由層執行於 AWS EKS,邊緣採用 Envoy,並由 Modal 自研的 Rust 代理 fprs 負責網域關聯與負載平衡;fprs 建構於 Cloudflare 的 pingora 之上,設定從 Spanner 讀取並快取於記憶體中。

6月24日星期三
  1. Modal Blog58

    Modal 推出 Auto Endpoints,以推測性解碼實現業界頂尖的推論延遲

    Modal 推出 Modal Auto Endpoints,一鍵將 Modal 的基礎設施擴展能力帶到業界頂尖的推論效能,同時保留對程式碼的控制權。Modal 表示,主要的延遲改善來自搭配自訂 DFlash 推測器模型的推測性解碼,在 Decagon Voice 案例研究中將端到端延遲降低約 100ms,約佔伺服器端解碼延遲的 40%,使其比最快的專有替代方案快逾 60ms。Modal 也與 Z Lab 和 SGLang 共同發布開源 DFlash 推測器模型,其中包括一款針對 Qwen 3.5 397B-A17B 的模型,相較於 MTP 提升超過 50%。

6月23日星期二
  1. Modal Blog60

    Modal 推出 Auto Endpoints,提供自助式、相容 OpenAI API 的 LLM 推論服務

    Modal 推出 Auto Endpoints,這是一項自助式服務,可將生產級 LLM 推論部署為相容 OpenAI API 的端點,並由使用者可見且可控制的 Modal App 支援。每個支援的模型都附帶一個起始部署,該部署依據 Modal 自身的基準測試調校,使用 SGLang 等引擎以及來自 Z Lab 的 DFlash 推測解碼草稿器,使用者可以檢視 GPU 選擇、引擎旗標,以及 TTFT、ITL 和推測解碼接受長度等推論指標。Modal 也將 Modal Servers 從 beta 版釋出,提供延遲僅 5ms 的區域化路由,並表示其透過內部代理系統產生端點部署,且仍由人類工程師監控。

    推薦理由:Modal 的 Auto Endpoints 公開了託管推論供應商通常隱藏的服務堆疊、引擎指標和基準測試配方,為團隊提供一條自助途徑,以擁有開放模型的推論能力。

6月22日星期一
  1. Modal Blog36

    Modal 解釋為何沙箱「已啟動」≠「已就緒」,以及暖池如何降低感知啟動延遲

    Modal 主張,容器排程與開機時間(多數沙箱基準測試將其測量為互動就緒時間)只是使用者實際等待時間中最小的一部分;容器啟動後的應用層設定往往需要數秒。Modal 將 Readiness Probes 正式開放使用,用以表示沙箱已完成初始化,並建議以 modal.Queue 加上 Directory Snapshots 建立暖沙箱池,將設定移出使用者的關鍵路徑。

6月19日星期五
  1. Modal Blog60

    Modal 為 Qwen 3.5 與 3.6 發布 DFlash 推測器,聲稱可額外提速 5-20%

    Modal 在 Hugging Face 上發布了一系列針對 Qwen 系列的 DFlash 草稿模型,包括 Qwen 3.6 35B-A3B-DFlash 以及從 4B 到 122B-A10B 的 Qwen 3.5 變體,另外還有一個用 SGLang 構建的 Qwen 3.5 397B-A17B 的 DFlash 推測器。該公司表示,新的草稿模型比現有的 DFlash 基線額外提速 5-20%,並且可以在 B200 節點上以並發度 1 運行 Qwen 3.5 122B-A10B 達到超過 1000 tok/s,而無推測時為 250 tok/s。文章認為,在內核優化只能帶來幾個百分點提升的地方,推測解碼可帶來 2 倍至 3 倍的增益,並提出了一個用於根據接受長度估算加速比的 roofline 模型。

    推薦理由:Modal 解釋了為何押注推測解碼,並發布了針對 Qwen 系列的 DFlash 草稿模型,附帶實測加速數據和用於估算增益的 roofline 模型。

6月15日星期一
  1. Modal Blog34

    Modal 產品更新:VM 沙箱、區域路由、RBAC 等更多功能

    Modal 發布了一系列平台更新,包括 alpha 版的 VM 沙箱,可執行真實的 Linux 核心,以支援 Docker 容器、eBPF、systemd 和 cgroups。Functions 現在可以透過美國西部、歐洲西部或亞太南部進行路由,而非預設的美國東部區域,且 RBAC 已開放給所有 Team 和 Enterprise 方案使用。沙箱就緒探針現已正式推出,而 Python SDK 1.5.0 和 JS/Go SDK 0.8.0 將預設快照 TTL 設為 30 天。

6月11日星期四
  1. Factory62

    Factory 在 Droid 中推出自動化安全審查

    Factory 正在 Droid 中推出自動化安全審查,該功能會在每個非草稿 PR 上,於標準程式碼審查之外執行基於 STRIDE 的安全審查,並以行內留言的形式在 diff 上張貼發現,包含嚴重程度、CWE 參照、說明與建議修正。該公司表示,Droid 的安全審查已在生產程式碼庫中執行,並揭露了經過負責任揭露流程的發現,包括 external-secrets 中的 CVE-2026-42876 以及 workos/workos-node#1578。Droid 會為變更範圍建立輕量威脅模型,掃描 OWASP Top 10 與 OWASP LLM Top 10 等漏洞,接著對照 diff 驗證每個候選發現以過濾誤報,最後每個 PR 只張貼一則去重後的摘要。

    推薦理由:Factory 的 Droid 現在會在每個非草稿 PR 上執行基於 STRIDE 的安全審查,而該文章展示了它在生產程式碼庫中揭露的真實 CVE。

5月27日星期三
  1. MiniMax Blog72

    MiniMax 將 Agent 升級為 Mavis,並推出 Agent Teams 處理長時間任務

    MiniMax 將 MiniMax Agent 升級並更名為 Mavis,同時推出 Agent Teams,讓多個角色分工的 Agent 在桌面上並行處理長時間、複雜的任務。該系統採用 Leader、Worker 與 Verifier 三種角色,搭配狀態機式 Team Engine,讓任務在 producing、verifying 與 done 之間循環,並將 TokenPlan 與 Agent Plan 合併為單一訂閱,涵蓋 CLI、API 與 Agent,橫跨 M2.7、音樂、影片與語音。MiniMax 表示該 Agent 即將開源,預計與 MiniMax M3 模型一同推出,而桌面應用程式已經上線。

    推薦理由:MiniMax 說明了其 Leader-Worker-Verifier Agent Team 背後的設計取捨,包括交接、共享與聚合成本,為建構多 Agent 執行環境提供了具體參考。

  2. Modal Blog38

    Modal 向所有 Team 與 Enterprise 使用者開放角色型存取控制

    Modal 讓所有 Team 與 Enterprise 方案的使用者都能使用角色型存取控制(RBAC),並以 Environments 作為可強制執行的安全邊界。受限的 Environments 預設讓工作區成員為唯讀,只有被明確授權的使用者或代理能部署與管理資源,而 RBAC 也與稽核日誌整合,完整記錄誰在何時做了什麼。