TypeSafe AI 在 Modal 上三天內將 Jev 擴展至數兆個 token
TypeSafe AI 使用 Modal 的無伺服器平台訓練並部署其首個 System One Model——Jev,並在上線三天內處理超過一兆個 token。Jev 並非自迴歸式 LLM:它以狀態與問題為輸入,並行輸出帶有機率的具型別結構化值,鎖定低延遲工作負載。上線一週後,它登上 OpenRouter 1K-10K token 上下文的排行榜首位,處理了 15.1% 的請求。
TypeSafe AI 使用 Modal 的無伺服器平台訓練並部署其首個 System One Model——Jev,並在上線三天內處理超過一兆個 token。Jev 並非自迴歸式 LLM:它以狀態與問題為輸入,並行輸出帶有機率的具型別結構化值,鎖定低延遲工作負載。上線一週後,它登上 OpenRouter 1K-10K token 上下文的排行榜首位,處理了 15.1% 的請求。
騰訊的 AI-Infra-Guard(AIG)已整合進 ClawScan,這款驅動 ClawHub 安全審查的開源命令列工具,因此現在每個上傳的技能與外掛都會經過 AIG。ClawScan 獨立執行 AIG 與 NVIDIA 的 SkillSpector,並由 AI 評審做出最終判定。在 SkillTrustBench 固定的 556 個案例子集上,ClawScan 與基準標籤的吻合率達 86.9%,並正確分類了 98.6% 的惡意案例。
Modal 宣布 Modal Clusters 已正式開放給所有工作區使用,使用者可透過單一裝飾器 @modal.clustered 申請多節點叢集。這些叢集提供高達 6.4 Tbps 的 InfiniBand RDMA 通訊,並自動為 PyTorch 與 NCCL 完成設定,叢集可在數秒內啟動,且按秒計費。Modal 同時說明了一套新的 gang 排程器,可一次放置 N 個節點,以及內建於 gVisor 執行環境的 RDMA 支援;文中並以 Decagon、1x 與 Runway 作為使用者案例,分別用於兆級參數微調、世界模型預訓練與多節點影片推論。
Claude Code mods 是小型 JavaScript 或 TypeScript 檔案,以隨外掛提供的 hooks 形式在工作階段內執行,可觀察事件、改寫行為,或在終端機或桌面應用程式中繪製自訂 UI。本指南打造 Token Weather,一個約 80 行的 mod,在每一輪之後讀取 $.session.usage(),並在提示上方繪製一條天氣樣式的上下文視窗帶,接著導覽 Blast Radius(會攔住有風險的 Bash 指令)與 Replay Theater(逐步檢視某一輪的編輯)。Mods 需要 Claude Code 2.1.287 或更新版本,且預設為開啟;這三個 mod 的完成版程式碼都在 anthropics/claude-code-playground。
推薦理由:一篇實作導向的 Claude Code mods 逐步教學,用約 80 行打造出可運作的上下文視窗計量器,展示 hooks、狀態與自訂 UI 如何彼此搭配。
Modal 推出 Beta 版 Sidecars,這是與 Sandbox 在同一主機上並行運行的隔離容器,用於將憑證、代理和 harness 邏輯等受信任程式碼與不受信任的代理生成程式碼分開。Modal 表示,Sandbox 與其 Sidecars 之間的通訊速度至少比同一區域內不同 Sandbox 之間快 3 倍,每次呼叫的 p50 傳輸時間為 0.58ms,而後者為 2.6ms。每個 Sidecar 都有自己的出站網路策略,單一 Sandbox 最多可運行 250 個 Sidecars,Ramp 已使用該功能在其 Inspect 編碼代理旁運行自訂出口代理。
Modal 已正式推出 VM Sandboxes,讓代理透過相同的 API、modal.Images、亞秒級冷啟動與 CPU/記憶體爆發能力,取得完整的 Linux VM,與其現有的 gVisor 架構 Sandboxes 一致。當使用者需要 Docker、FUSE 檔案系統或特殊 Linux 核心功能時,可透過 runtime="vm" 啟用,而 gVisor 仍是預設執行環境。Modal 表示,早期客戶已啟動超過 2,000 萬台 VM,其中 Linear 將每個 Coding Session 都跑在 VM Sandbox 上,Legora 與 Snorkel 則用於法律代理評估與代理模擬。
推薦理由:Modal 的 VM Sandboxes 讓代理取得具備 Docker 與核心存取權限的完整 Linux 機器,同時保留既有的 Sandbox API 與亞秒級冷啟動。
Modal 發布 VM 沙箱,為代理提供完整的 Linux 電腦,可用於 Docker 堆疊、本機資料庫與行動模擬器,Linear、Legora 與 Snorkel 已在使用。Modal 叢集現已透過 @modal.clustered 裝飾器正式推出,支援跨協調容器的兆級參數訓練與服務。另推出黏性工作階段與端點候選,後者處於私人測試階段。
Factory 已將 Automations 正式推出,讓團隊能描述重複性的工作流程,並由 Droid 依排程或事件觸發執行。每個自動化結合了觸發條件(排程、Slack、GitHub 或 webhook)、指令、使用者選擇的模型與推理等級,以及可為本機、已連線或由 Factory 管理的 Droid Computer 的機器。Factory 表示,過去 30 天內有 52% 的企業使用者執行自動化程式碼審查,48% 使用安全性審查,35% 使用 AutoWiki,且自動化工作階段數量較前 30 天成長 51%。
推薦理由:Factory 將 Automations 正式推出,顯示企業實際上把哪些重複性工程工作流程交給 Droid,以及模型與機器選擇如何依任務運作。
Vapi 推出 Vapi for CX,這是一套用於建置、部署、觀測與最佳化客戶體驗語音代理的工具包。它結合了供 CX 團隊使用的自然語言 Composer,以及可透過 API、CLI 和 MCP 伺服器存取的同一個設定物件,另外還包含評估、版本控制、備援方案、通話評分卡,以及跨轉錄器、模型和語音的每週延遲、成本與品質資料。Vapi 表示,Amazon Ring 在評估超過 40 家供應商後,將其 100% 的來電量運行於該平台上;Kavak 則能在約五分鐘內建置新的代理版本,NPS 提升了 20 點。
OpenClaw 宣布推出 OpenClaw Enterprise(OCE),這是一個開源、廠商中立的平台,用於在敏感環境中管理持久性代理,目前仍在開發中,預計於今年稍晚發布 1.0 版本。OCE 新增了企業控制平面,具備多租戶、嚴格安全邊界、沙箱、基於 LLM 的審查與細粒度權限,並允許將執行框架、模型與沙箱替換為第三方或內部實作。組織今天即可透過 docker-compose 進行本地開發,或透過 kubernetes 進行內部部署來自架設,目前正在包括 Red Hat 與 OpenAI 在內的公司進行試點。
推薦理由:OpenClaw Enterprise 是一個開源控制平面,用於在敏感環境中管理持久性代理,具備多租戶、嚴格安全邊界與可審計性,現已可供內部試點工作負載使用。
Mistral 已在慕尼黑開設新樞紐,進駐以物理 AI 與工業 AI 為重點的研究團隊,以及服務企業合作夥伴的工程師。該公司表示,將於 2030 年前建置一吉瓦的歐洲算力容量,並正與 BMW 合作進行碰撞模擬,以及與 Siemens Energy 合作工業 AI 應用。
Anthropic 在 Claude Code 內的 claude-api 技能中新增了兩個指令:/claude-api build-eval 會在你的程式碼庫中建立評估集,而 /claude-api hillclimb 則會針對該評估反覆迭代應用程式,並以保留集來捕捉過擬合。
推薦理由:Anthropic 在其 claude-api 技能中新增 build-eval 與 hillclimb 指令,展示 Claude Code 如何設計評估並針對評估反覆迭代,同時防範過擬合。
Anthropic 發布 Claude Sonnet 5.5,這是繼 Opus 5.5 之後 Claude 5.5 系列的第二個模型。該公司表示,它在相同每 token 價格下比 Sonnet 5 更聰明、更高效,且速度提升 30%。由於每項任務通常需要更少的 token,Anthropic 表示大多數工作的成本最多可降低 30%。該模型原生支援 100 萬 token 上下文視窗、最高 128k 輸出,並預設開啟思考功能。發布指南列出了 Sonnet 5 使用者的破壞性變更,包括以 between_tools 設定取代已停用的思考功能、將強制 tool_choice 改為 auto 加 strict tools,以及將電腦使用功能移至 computer_toolset_20260801 工具集。
推薦理由:Anthropic 的 Sonnet 5.5 維持 Sonnet 5 的定價,同時降低每項任務的 token 用量,而遷移說明則顯示了已在 Sonnet 5 上建置的團隊需要做哪些變更。
Vapi 產品工程師 Mhar Andal、Scott Lowe 與 Adham El Fawal 在 9 月 22 日的網路研討會中示範了模型智慧、模擬與活動,並回答開發者的熱門問題。模型智慧會推薦轉錄器、LLM 與語音預設,並顯示成本、延遲與品質指標;模擬則以 AI 測試器執行並提供通過/失敗結果;活動可撥打最多 10,000 筆聯絡人的名單。
Modal 與卡內基美隆大學的 Full Stack Data Lab 打造了 Quail,一款針對 AI-SQL 工作負載的查詢感知推理引擎,聯合優化 SQL 查詢規劃器與推理引擎。在一個多重 join 查詢上,它每張 H100 GPU 每分鐘處理超過十億個 token,比同一硬體上 Modal 的 vLLM 基線快 10 倍以上,每十億 token 成本低於 6 美分;在團隊新的 AI-SQL 基準測試上,其幾何平均速度比 vLLM 快 1.84 倍。由於 AI-SQL 的過濾與 join 每個序列只需一個 token,Quail 跳過解碼、取樣與 prefill-decode 分離,並利用已知的查詢計畫來排序請求與管理 KV 快取淘汰。
Modal 說明其如何為編碼代理最佳化 Kimi K2.6 推論,達到每個副本每位使用者 2.8 倍、跨使用者 5.6 倍的效能,並以每日數千億個 token 的規模運行服務。這項工作結合了在編碼軌跡上微調的客製化 DFlash 推測解碼、FP8 KV 快取與 NVFP4 共享專家量化、HiCache CPU 層級快取,以及感知 KV 快取的基於負載路由。Modal 已將其 SGLang 修補程式上游化,並釋出 Modal Auto Endpoints 背後的設定。
LiveKit 推出了 Private Links,這是一條全代管的加密通道,讓 LiveKit 代管的代理能透過 AWS PrivateLink 或 Azure Private Link 存取私有的內部資源,無需公開 IP、輸入防火牆規則或 VPN 基礎架構。流量會經由 WireGuard 通道路由至同一雲端區域的 LiveKit 閘道,且僅支援以 TLS 保護的 TCP 連線。可透過 LiveKit CLI 或 Dashboard 進行設定,並在客戶端進行一次性連線核准。
OpenClaw 支援另行設定的決策模型,其核心與外掛可透過 Plugin SDK 中的 api.runtime.decisions.evaluate 呼叫,回傳選項、分數或機率,而非聊天回覆。此功能為選用式,不會取代聊天模型,且各供應商套件仍在等待支援版本發布。TypeSafe 轉接器支援託管的 Jev 與本地的 System One 伺服器(例如 Jared Palmer 的 Kev),而評估工具正以 decision_evaluate 之名移入 OpenClaw 核心。
推薦理由:OpenClaw 新增選用式決策模型層,可從應用程式碼回傳具型別的答案,並提供共用的 Plugin SDK 介面,讓外掛無須逐一整合各供應商即可使用。
本指南比較 LiveKit Agents 與 Pipecat 這兩個它認為對打造生產級語音與視訊 AI 代理最重要的開源框架,涵蓋架構、採用情況、開發者體驗與生產就緒度。LiveKit Agents 運行於 LiveKit 的開源 WebRTC 與 SIP 基礎設施上,並為你串接好管線;Pipecat 則不預設傳輸方式,由開發者逐階段組裝管線。文中也說明 TEN Framework、Dograh、Vision Agents 與 Vocode 各自的位置。
Descript 2026 年 9 月 17 日的更新新增 18 種字幕預設與 10 種全新文字動畫,並在 145.0.15 或更新版本中,將 AI 生成的背景音樂與音效直接放置於時間軸上。結帳功能現在會以當地貨幣顯示價格,並支援 Apple Pay、Google Pay、Cash App 及其他選項,語音選擇器則取自 ElevenLabs 語音庫。
LiveKit 推出 Startup Program,為符合資格的初創公司提供總價值約 23,000 美元的資源:來自七個合作夥伴的 7,000 美元推理額度、10,000 美元的 LiveKit Cloud 額度,以及原價每月 500 美元的 Scale 方案一年使用權。包括 Deepgram、AssemblyAI 及 LiveKit 託管的 Gemma 4 31B 在內的合作夥伴模型,可透過 LiveKit Inference 使用,無需另外開設供應商帳戶或 API 金鑰。該計畫針對員工少於 50 人、募資低於 500 萬美元,且正在產品中打造語音、視訊或實體 AI 的初創公司。
Factory以50億美元估值完成2億美元融資,使其總融資額超過4億美元,投資方包括Blackstone、Khosla Ventures、Sequoia Capital、Insight Partners等。該公司表示,將把這筆資金投入研究、產品以及其企業軟體工廠平台的全球市場推廣;該平台讓團隊能夠治理完整的開發生命週期,並可選擇雲端、本地部署或氣隙部署。Factory表示,Nvidia、Blackstone、RBC、Palo Alto Networks、Adobe和T-Mobile都在使用它,並且其Factory Router在維持前沿效能的同時,將token支出削減了60%以上。
Modal 在其 Auto Endpoints 上新增了對四個開放權重模型的零日支援——Kimi K3、Qwen3.8-2.4T-A95B、GLM-5.3 與 GLM-5.3-Flash,其中 Kimi K3 透過自訂的 DFlash 推測器在代理式工作負載上以每秒 460 個 token 執行。Sandbox Sidecars 進入公開 alpha,VM Sandboxes 達到公開 beta,廣泛區域定價倍數從 1.5x 降至 1.15x。儀表板煥新並推出淺色模式 beta,Python SDK 1.5.5 以及 JavaScript 與 Go SDK 0.10.0 已發布。
LiveKit 說明,其語音代理中的「推論比即時更慢」警告指的是本機 VAD 模型,而非透過 LiveKit Inference 使用的 STT、TTS 或 LLM 模型。每個 32ms 的音訊視窗必須在 32ms 內處理完畢,而回報的延遲顯示 VAD 落後即時音訊的程度。事件迴圈受阻與 CPU 飽和是主因,解決方法是排除同步程式碼,而非增加執行緒。
Factory 現已在 Anthropic 的 Claude Marketplace 上架,企業客戶可將已承諾的 Anthropic 支出用於 Factory,無需另行走採購流程。Factory 自動化軟體開發生命週期,涵蓋規劃、實作、測試與安全,並支援多種企業部署模式。其客戶包括 NVIDIA、Adyen 與 Ernst & Young。
Markov Robotics 正在訓練一個世界模型,以實現零樣本通用機器人靈巧操作,使用的機器人資料不到十小時,而同等結果通常需要數千小時。該公司幾乎所有運算都在 Modal 上執行,從預處理數百 TB 的影片,到 2–10 個並行訓練任務,以及透過 Modal Tunnels 進行遠端推論,往返延遲約 20 毫秒。原本可能耗費一整天的預處理,現在只需二十到三十分鐘即可完成,並可同時展開到多達 500 個 GPU。
語音信箱偵測(也稱答錄機偵測)會在大約三到五秒內判斷外撥電話是接通到真人還是錄音,依據的是時間與行為訊號,而非語音音訊。一篇 2026 年的 arXiv 預印本發現,單靠時間特徵就能達到與嗶聲及關鍵字方法相當的效果,同時避免它們額外增加的延遲。Vapi 讓使用者選擇偵測供應商、調整時間參數,並在真人接聽時切換回對話。
LiveKit 新增了非生產環境部署,可在與正式環境相同的容器映像、專案與密鑰下,以不同名稱執行語音代理,只需一個指令即可建立。每個部署閒置時會休眠且不產生費用,並在下一次請求時喚醒,你可以用 --deployment 旗標指定它。Python 需 livekit-agents 1.6+,Node 需 @livekit/agents 1.7.1+,方案在 Ship 提供 2 個部署、Scale 提供 5 個部署。
Modal 正在開設倫敦辦公室,這是其在歐洲的第二個據點,並已聘請 Hugh Killingbeck-Jones 擔任 VP EMEA,負責組建面向新創公司與企業客戶的 go-to-market 團隊。該辦公室最終將增設工程及其他職能,而 Modal 的斯德哥爾摩團隊已成長至近 20 人,負責建構其自訂檔案系統與 Sandboxes 等核心系統。
Botika 在 Modal 上運行其全端生成式 AI 業務,涵蓋 100 TB 的影像資料管線、數十億參數的自研基礎模型,以及約 15 個模型提供生產環境推論。該管線在數千個並行容器上處理該資料集,錯誤率低於 1%,而單一研究人員現在每天可執行 50 次實驗,而非過去的一到兩次。
Zyphra 以 Apache 2.0 授權發布 PUFFER,這是一套開源、具備來源感知能力的增量模糊去重系統,用於持續成長的 LLM 訓練語料。相較於現有基於 CPU 的去重方法,它帶來 11 倍至 35 倍的加速,並可在單一進程上於 1.75 小時內攝入十億份文件,且已在超過 300 億份文件上進行生產部署。PUFFER 保留一份存於磁碟的 MinHash-LSH 歷史紀錄,因此可以新增資料集、以確定性方式恢復中斷的工作,並可撤除個別資料集而無需重建整個語料索引。
LiveKit 推出 Connectors,這是 LiveKit 房間與 Twilio Programmable Voice 及 WhatsApp Business Calling 之間的直接橋接,並計畫支援更多平台。每通電話都會以 CONNECTOR 參與者身分加入房間,並攜帶平台情境資訊,例如 Twilio 通話 SID 或 WhatsApp 來電者的電話號碼,而代理調度會在同一個 API 請求中完成。Connectors 已在 LiveKit Cloud 正式推出,採用 SIP 定價,Ship 方案為每分鐘 $0.004,Scale 方案為每分鐘 $0.003,Build、Ship 和 Scale 方案分別支援 5、20 和 100 路並行 connector 通話。
Vapi 推出重建版的 Campaigns,這是其批次外呼產品,現在運行於一個獨立於通話佇列之外的持久化工作流程引擎上。每個活動最多可容納 10,000 筆聯絡人,外加一個 assistant 或 squad 以及一個電話號碼,撥號僅限於設定的時間窗口內進行,assistant 提示中可帶入每位聯絡人的變數,並有一個撥號前的 webhook 可跳過已轉換的聯絡人。Vapi 表示,活動狀態會持久化於任何單一流程之外,並行處理以滑動窗口而非批次方式運行,且每次狀態變更都會附加一個不可變事件,因此進度和稽核軌跡不會偏離。
正在評估是否要自行打造語音代理的團隊,真正在決定的是要不要自建一層協調層,因為代理本身只佔約 20% 的工作量,其餘都是即時音訊、電話系統與可觀測性基礎設施。某家排程軟體廠商的六週展示,最後變成八個月的專案,之後才在六週內把這項功能遷移到平台上。只有在需要深度客製化管線、已有語音基礎設施、法規限制,或語音是核心競爭優勢時,自建才說得通。
LiveKit 的部落格解析了語音代理為何在「yes」或「ok」這類簡短回覆後經常陷入沉默,並將原因追溯至輪次偵測失敗。最常見的原因是 STT 供應商漏掉簡短語音,從未發出 final_transcript,導致話語結束偵測完全無法運作。文章也涵蓋過於激進或過於寬鬆的端點偵測延遲,以及將簡短音訊當作噪音丟棄的錯誤噪音消除設定。
LiveKit 已將代理工作階段分鐘數、錄音、WebRTC 連線與 SIP 連線改為按秒計費,最低以十秒為增量單位,適用於所有方案與帳戶,包括企業合約。此變更已上線,並將於九月的帳單中反映八月的用量,對客戶而言沒有技術上的變更。LiveKit 表示,按分鐘計費與僅持續數秒的短暫外撥通話不相符,限制了該使用情境。
Vapi 發布了一套七項標準的評分準則,用於評估客戶體驗中的 AI 語音代理,涵蓋解決率、即時語音品質、採取行動、升級轉接、模型靈活性、生命週期信任與平台控制。該指南主張,以 containment 與 deflection 計算成功率會高估成效,因為被 containment 的來電者可能只是掛斷電話;並引用 ContactBabel 數據顯示,偏好以電話進行複雜互動的比例從 2018 年的 28% 上升至 2024 年的 47%。Vapi 將自身定位為模型無關的平台層,具備可配置的端點偵測、打斷處理與背景降噪。
LiveKit 正將其 SFU 架構擴展到單一對等連線之外,讓機器人部署能執行多參與者工作階段,其中一個 Room 可讓每台攝影機、模型、操作員或服務各自作為獨立的參與者加入。LiveKit 描述了三種架構:人在迴路中的資料錄製,機器人、策略、操作員與錄製器同處一個工作階段;VLM 引導的技能編排,由視覺語言模型以約 1 Hz 選擇技能,而各別策略參與者以數十赫茲控制機器人;以及策略升級,由 30 Hz 或更高頻率的獎勵模型標記卡住或不安全的狀態,機器人則撤銷專家策略的權限。
一份廠商中立指南列出為企業語音代理選擇對話式 AI 平台的五項標準:開發者控制權、模型選擇與備援、測試與可觀測性、完整的代理生命週期,以及大規模合規性。指南引用 Zapier 對 542 位美國 C 級高階主管的調查,其中 81% 擔心依賴特定 AI 廠商,僅 6% 能在不造成中斷的情況下捨棄其主要廠商。指南主張延遲與編排比功能清單更重要,並指出 AssemblyAI 的發現:超過 500–700 毫秒的延遲會讓人覺得不自然。
Factory 已在 Factory Analytics 中向企業組織全面推出 Agent Effectiveness,將 Factory 工作階段與週期時間、工作意圖及已交付產出連結起來。此功能新增 Throughput、Output 與 Attribution 檢視,將 Droid 使用情況與交付成果連結,並由 Local Signals 分類層支援,該層可讀取 Jira、Linear、GitHub 與 GitLab 的資料。此功能為選擇加入、預設關閉,且需要 Advanced Analytics 企業控制項。