Qwen3.8-2.4T-A95B 已作為開源權重模型發布，並同步在 Modal 上線。Modal 表示其與 Qwen 在發布前合作，透過 SGLang 和針對 Qwen3.8 形狀調校的定製 DFlash 推測器，為 Modal Auto Endpoints 提供 day zero 支援。
推薦理由：Modal 在 Qwen3.8-2.4T-A95B 開源權重發布當天即上線共享端點，並說明其定製 DFlash 推測器如何針對該模型的形狀提升推理速度。
Vapi 主張，語音代理的評判標準在於五個即時維度：延遲、輪流發言、打斷處理、韻律，以及具韌性的管線。它引用研究指出，人類的輪流發言間隔接近 200 毫秒，並指出超過約 500–700 毫秒的延遲會顯得不自然，而樸素的循序管線可能耗費約 1.9 秒，優化後的管線則為 600–900 毫秒。Vapi 將其不綁定特定模型的管線定位為可透過模擬通話調校與測試。
Modal 已將所有 Functions 遷移至新的地理分散式 I/O 平面，使端到端 Function Call 延遲在 p50 下降低約 80ms。先前每個 Function 的輸入與輸出都經由 us-east I/O 伺服器路由，每次呼叫增加最多數百毫秒；新平面已在至少 4 個區域提供，並可透過 routing_region 旗標選擇。伺服器層以 Go 重寫，非關鍵工作已移出熱路徑。
IBM Research 擴展了 K-Search——來自 UC Berkeley Sky Lab 的演化式核心搜尋框架——加入了 MLX 後端，以及一個結構化的 CUDA 到 MLX 轉譯層，可將現有的 CUDA 核心改寫為 Apple Silicon 核心。在一個 MLX 注意力核心上，此方法達到了 Apple 原生 MLX Attention 核心速度的 0.97 倍，而在沒有轉譯上下文的情況下僅為 0.26 倍；在 M1 Max 上，一個演化出的 Mamba SSM 核心相較於社群版 mlx-lm 實作，prefill 速度提升最高達 20 倍。作者將此增益主要歸因於提供給 LLM 的上下文與約束品質，而非其撰寫 Metal 程式碼的能力，並表示該方法並非專屬於 MLX。
Modal 在 Moonshot 的 Kimi K3 發布當天，便於其平台上架這款 2.8 兆參數的多模態模型，透過按 token 計價的 Shared API 與專用 Auto Endpoints，提供 100 萬 token 的上下文視窗。Modal 表示，一款針對 K3 架構調校的客製化 DFlash 推測器，在代理式工作負載下，將互動性從每秒 100 個 token 提升至每秒 460 個 token，並將每顆 GPU 的吞吐量從 80 萬 TPM 提升至 150 萬 TPM。該模型採用混合專家設計，每個 token 啟用 896 個專家中的 16 個，而 Moonshot 在發布前也向 vLLM 貢獻了新的前綴快取實作。
推薦理由：Modal 詳細說明它如何在發布當天將 Moonshot 的 2.8 兆參數 Kimi K3 上架至其平台，其中包括一款客製化 DFlash 推測器，可將互動性從每秒 100 個 token 提升至每秒 460 個 token。
AI 語音代理以兩種方式縮短客戶等待時間：透過自助服務分流、智慧路由、座席輔助與需求預測，把工作從佇列中移除；以及即時應答、無需等候。SQM Group 發現客戶平均在 2 分 36 秒時掛斷電話，而 ContactBabel 指出 2024 年英國平均放棄率為 8.4%。Vapi 表示，第一個語音代理可在數分鐘內從其儀表板建立完成，之後再以 ASA、放棄率與首次通話解決率來衡量。
Vapi 推出 Model Intelligence，這是一組協助開發者為語音代理挑選模型組合的功能。它包含四種模型預設（Balanced、High Intelligence、Ultra Fast、Cost Saver），各自捆綁了轉錄器、LLM 與語音，另外還提供取自超過 10 億通 Vapi 通話的逐模型成本、延遲與品質指標。
Modal 是 Devin Outposts 的發布合作夥伴。Devin Outposts 是 Cognition 的功能，將 Devin 的程式碼執行移到客戶控制的環境，而 Devin 的推理仍留在 Cognition 的雲端。開源的 modal-devin 函式庫與 CLI 會在 Modal Sandbox 中執行每個 Outpost 工作階段，提供 GPU 支援的機器、自訂映像、工作區快照與縮減至零，並自 2026 年 7 月 21 日起以 alpha 版上線。設定使用 uvx modal-devin init，會產生一個協調器函式與一個工作階段函式，團隊可持續自訂。
Modal 從頭重建了其核心沙箱平台，並在新系統上同時執行 100 萬個沙箱，且全部在不到一分鐘內建立完成。此次重新設計將中央協調與任何資料儲存從沙箱建立路徑中移除：水平擴展的排程伺服器以記憶體內演算法挑選一個 worker 並直接呼叫它，而 worker 則非同步地將狀態發布到 Redis stream。Modal 表示沙箱啟動延遲的中位數低於半秒，且新系統已以 Beta 版推出，只需改一行程式碼即可選擇啟用。
推薦理由：Modal 重建了其沙箱控制平面以移除中央協調，展示了一旦全域一致性離開關鍵路徑，容器排程能擴展到多大的規模。
Thinking Machines 發布了 Inkling，這是一個通用多模態模型，可接收文字、圖像和音訊輸入並輸出文字，而 Modal 從第一天起就以基於 token 的定價，透過受管端點（Managed Endpoint）提供該模型。Inkling 是一個混合專家（MoE）Transformer，總參數 975B，活躍參數 41B，上下文視窗 1M token，原生支援音訊與視覺，每五層滑動視窗注意力層搭配一層完整注意力層。在配備 8 張 B200 的代理式工作負載上，Modal 自訂的 DFlash 推測器在每 GPU 吞吐量 2.5M TPM 時，達到每位使用者每秒 250 個 token，在相同吞吐量下，互動速度比模型內建的推測路徑快 67%。
推薦理由：Modal 為 Thinking Machines 的 975B 參數 Inkling 提供首日端點，展示了自訂 DFlash 推測器如何將互動速度提升至比模型內建推測路徑快 67%。
Modal 主張它應該被理解為一台電腦，而不是「運算界的 Uber」、新雲端或推論供應商，因為它賣的是處理器秒數與位元組秒數，而非 token。文章將傳統機器的 ALU、記憶體階層、I/O、NIC 與作業系統，對應到 Modal 的容器、物件儲存、Input/Output Plane、Routing Plane 與 Tunnels。它也將 Modal Functions、Sandboxes 與 Servers 對應到無狀態工具、Linux 行程與 HTTP 監聽器。
UC Berkeley 的 Aditya G. Parameswaran 與合作者主張，隨著推論成本從 2023 年初約每百萬個 token 30 美元降到今日不到 1 美元，資料系統必須圍繞三大挑戰重新設計：為 Agent 而生的系統、由 Agent 組成的系統，以及由 Agent 打造的系統。他們指出，在一個每項任務配置多個 Agent 的 text-to-SQL 基準測試中，只有 10-20% 的子計畫彼此不同，因此 80-90% 的子查詢都在重複相同工作，並據此提出重用、近似與主動式資料系統。
Modal 發布了一款互動式工具，用於估算無伺服器與預留 GPU 的成本，預設採用目前 B200 GPU 在 Modal 上以無伺服器方式運行，以及透過三年期超大規模雲端服務商預留的費率。該模型顯示，當應用程式的峰值與平均值比率超過預留折扣率時，無伺服器 GPU 的整體成本更低，而 Modal 引用觀察到的折扣為 2-5 倍，對應峰值與平均值比率為 5-10 倍。
Modal Research 與 NYU Shanghai 的 HeavyBall Research 推出 Multi-token Residual Prediction（MRP），這是一個接在凍結擴散語言模型主幹上的 3 層模組，預測的是步驟間的 logit 殘差，而非完整的下一步分布。在 SDAR-4B GSM8K 上，MRP 在 K=3 時保持 70.9% 準確率，而樸素 MTP 蒸餾僅為 5.9%；在 SGLang 中，推測模式下可無損達到最高 1.56 倍吞吐量，或在激進的低閾值動態解碼下挽回最高 +16 個準確率點。論文、程式碼、SGLang 實作以及 Hugging Face 上的 SDAR-MRP 模型均已發布。
Anthropic 於 6 月 30 日推出 Claude Science，這是一個 AI 工作台，生命科學研究人員可在與 Claude 的對話中直接執行運算工作負載。Modal 作為運算後端整合其中：需要 GPU 或大量並行 CPU 的工作負載，會從研究人員已連接的工作區自動路由到 Modal 沙箱，而預設執行仍在本機沙箱中進行。Modal 舉例說明可跨數百個容器進行扇出式虛擬篩選、為 ESMFold2 等模型提供逐步 GPU 存取、共享 Modal Volumes 儲存與可重現的 Modal Images，並為 Anthropic 的 AI for Science Claude Science Cohort 提供最高 100,000 美元的運算資源，每項專案 500 至 2,000 美元，申請開放至 2026 年 7 月 15 日。
推薦理由：Modal 的文章說明了 Claude Science 如何將 GPU 與平行工作負載路由到 Modal 沙箱，並附上具體的生命科學範例，以及為學術實驗室提供的運算補助。
Modal 推出 Servers，這是一組區域化、可自動擴縮的 HTTP 伺服器副本池，用於處理 HTTP、WebSocket 與 gRPC 流量，鎖定對延遲敏感的工作負載，例如互動式代理的 LLM 推論。Modal 表示，他們將控制平面的查詢與排隊移出請求路徑，把 p50 延遲從 39ms 降到 6ms，因此當沒有可用副本時，用戶端會收到 503，必須在應用程式中自行處理負載卸除。路由層執行於 AWS EKS，邊緣採用 Envoy，並由 Modal 自研的 Rust 代理 fprs 負責網域關聯與負載平衡；fprs 建構於 Cloudflare 的 pingora 之上，設定從 Spanner 讀取並快取於記憶體中。
Vapi 公布了與 Spring Venture Group 合辦的網路研討會中，最常被問到的七個問題的解答。會中 Homer Kay 說明了 SVG 如何運用 Vapi 語音代理，在將來電者轉接給持照代理人之前，先對 Medicare 潛在客戶進行資格審核。這些解答涵蓋了外撥電話合規、API 優先的整合、獨立替換 STT、LLM 與 TTS 元件、轉接真人，以及符合 HIPAA 規範且採用零資料保留的設定。
Modal 推出 Modal Auto Endpoints，一鍵將 Modal 的基礎設施擴展能力帶到業界頂尖的推論效能，同時保留對程式碼的控制權。Modal 表示，主要的延遲改善來自搭配自訂 DFlash 推測器模型的推測性解碼，在 Decagon Voice 案例研究中將端到端延遲降低約 100ms，約佔伺服器端解碼延遲的 40%，使其比最快的專有替代方案快逾 60ms。Modal 也與 Z Lab 和 SGLang 共同發布開源 DFlash 推測器模型，其中包括一款針對 Qwen 3.5 397B-A17B 的模型，相較於 MTP 提升超過 50%。
Modal 推出 Auto Endpoints，這是一項自助式服務，可將生產級 LLM 推論部署為相容 OpenAI API 的端點，並由使用者可見且可控制的 Modal App 支援。每個支援的模型都附帶一個起始部署，該部署依據 Modal 自身的基準測試調校，使用 SGLang 等引擎以及來自 Z Lab 的 DFlash 推測解碼草稿器，使用者可以檢視 GPU 選擇、引擎旗標，以及 TTFT、ITL 和推測解碼接受長度等推論指標。Modal 也將 Modal Servers 從 beta 版釋出，提供延遲僅 5ms 的區域化路由，並表示其透過內部代理系統產生端點部署，且仍由人類工程師監控。
推薦理由：Modal 的 Auto Endpoints 公開了託管推論供應商通常隱藏的服務堆疊、引擎指標和基準測試配方，為團隊提供一條自助途徑，以擁有開放模型的推論能力。
Modal 主張，容器排程與開機時間（多數沙箱基準測試將其測量為互動就緒時間）只是使用者實際等待時間中最小的一部分；容器啟動後的應用層設定往往需要數秒。Modal 將 Readiness Probes 正式開放使用，用以表示沙箱已完成初始化，並建議以 modal.Queue 加上 Directory Snapshots 建立暖沙箱池，將設定移出使用者的關鍵路徑。
Modal 在 Hugging Face 上發布了一系列針對 Qwen 系列的 DFlash 草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 以及從 4B 到 122B-A10B 的 Qwen 3.5 變體，另外還有一個用 SGLang 構建的 Qwen 3.5 397B-A17B 的 DFlash 推測器。該公司表示，新的草稿模型比現有的 DFlash 基線額外提速 5-20%，並且可以在 B200 節點上以並發度 1 運行 Qwen 3.5 122B-A10B 達到超過 1000 tok/s，而無推測時為 250 tok/s。文章認為，在內核優化只能帶來幾個百分點提升的地方，推測解碼可帶來 2 倍至 3 倍的增益，並提出了一個用於根據接受長度估算加速比的 roofline 模型。
推薦理由：Modal 解釋了為何押注推測解碼，並發布了針對 Qwen 系列的 DFlash 草稿模型，附帶實測加速數據和用於估算增益的 roofline 模型。
Vapi 打造了首頁上的 15 個語音代理——涵蓋 5 種語言的 3 個使用案例——做法是從單一 ROUGH_DRAFT.md 檔案生成，而非在儀表板中逐一手動編輯。這套四階段框架（規劃、草擬、啟動、強化）會搭建一個 TypeScript 專案，使用 temperature 設為 0.5 的 OpenAI gpt-4.1、ElevenLabs 與 Deepgram/Soniox 語音堆疊，以及一個冪等的 upsert 迴圈，將 assistant ID 存入 .env.local。該儲存庫已公開：複製它、加入 VAPI_PRIVATE_KEY，然後執行 bun run bootstrap。
Modal 發布了一系列平台更新，包括 alpha 版的 VM 沙箱，可執行真實的 Linux 核心，以支援 Docker 容器、eBPF、systemd 和 cgroups。Functions 現在可以透過美國西部、歐洲西部或亞太南部進行路由，而非預設的美國東部區域，且 RBAC 已開放給所有 Team 和 Enterprise 方案使用。沙箱就緒探針現已正式推出，而 Python SDK 1.5.0 和 JS/Go SDK 0.8.0 將預設快照 TTL 設為 30 天。
Modal 為 FlashAttention-4 核心貢獻了多項最佳化，以加速以解碼為主的 LLM 推論工作負載，這類工作負載的瓶頸在於記憶體頻寬。這些變更包括將「split KV」平行化技術移植到 FA4，並以 cp.async 取代 TMA cp.async.bulk 載入，以處理不規則的記憶體存取。一個 FP8 輸入 PR（於 2026 年 4 月 17 日合併）相較於 bf16 基準可提供最高 1.16 倍的吞吐量，並可啟用更小的 KV 快取。
Factory 正在 Droid 中推出自動化安全審查，該功能會在每個非草稿 PR 上，於標準程式碼審查之外執行基於 STRIDE 的安全審查，並以行內留言的形式在 diff 上張貼發現，包含嚴重程度、CWE 參照、說明與建議修正。該公司表示，Droid 的安全審查已在生產程式碼庫中執行，並揭露了經過負責任揭露流程的發現，包括 external-secrets 中的 CVE-2026-42876 以及 workos/workos-node#1578。Droid 會為變更範圍建立輕量威脅模型，掃描 OWASP Top 10 與 OWASP LLM Top 10 等漏洞，接著對照 diff 驗證每個候選發現以過濾誤報，最後每個 PR 只張貼一則去重後的摘要。
推薦理由：Factory 的 Droid 現在會在每個非草稿 PR 上執行基於 STRIDE 的安全審查，而該文章展示了它在生產程式碼庫中揭露的真實 CVE。
Modal 表示，LLM 強化學習後訓練的瓶頸如今在於基礎設施，而非演算法，並發布了一個源自大規模執行強化學習經驗的開源函式庫。文中詳述三個痛點——膠水程式碼、叢集排隊與 GPU 使用率不足——並回報 RDMA 權重同步將 Qwen3 8B 的更新時間從 2.62 秒縮短至 41 毫秒。
MiniMax 將 MiniMax Agent 升級並更名為 Mavis，同時推出 Agent Teams，讓多個角色分工的 Agent 在桌面上並行處理長時間、複雜的任務。該系統採用 Leader、Worker 與 Verifier 三種角色，搭配狀態機式 Team Engine，讓任務在 producing、verifying 與 done 之間循環，並將 TokenPlan 與 Agent Plan 合併為單一訂閱，涵蓋 CLI、API 與 Agent，橫跨 M2.7、音樂、影片與語音。MiniMax 表示該 Agent 即將開源，預計與 MiniMax M3 模型一同推出，而桌面應用程式已經上線。
推薦理由：MiniMax 說明了其 Leader-Worker-Verifier Agent Team 背後的設計取捨，包括交接、共享與聚合成本，為建構多 Agent 執行環境提供了具體參考。
Modal 讓所有 Team 與 Enterprise 方案的使用者都能使用角色型存取控制（RBAC），並以 Environments 作為可強制執行的安全邊界。受限的 Environments 預設讓工作區成員為唯讀，只有被明確授權的使用者或代理能部署與管理資源，而 RBAC 也與稽核日誌整合，完整記錄誰在何時做了什麼。
Vapi 主張，語音 AI 如今能讓語音成為 ACCESS 慢性病管理中在經濟上可行的管道，並引用 Hiya 的數據指出，42% 的消費者偏好以語音進行醫療保健溝通，高於前一年的 33%。該文章詳細介紹了三套正式上線的工作流程，其中包括 Spring Venture Group 的聯邦醫療保險潛在客戶資格審核代理，該代理由四名工程師在一週內打造完成，將轉換成交率提升了 3%，並帶來超過 580 萬美元的合計節省與新增營收。
Applied Compute 透過強化學習訓練企業客製化 AI 代理，並以 Modal 的沙箱、Functions 與次秒級冷啟動為基礎，讓數千個平行 rollout 持續受 GPU 綁定。其代理包括為 DoorDash 打造的商家上線模型，以及為 Cognition 打造的抓蟲代理。
Modal 宣布 Modal Sandboxes 與 Anthropic 的 Claude Managed Agents 之間的一流整合，讓所有工具呼叫都在自架的 Modal Sandbox 中執行，同時由 Anthropic 的託管代理迴圈處理工作階段狀態。Modal 提到自訂映像的快速冷啟動、快照與磁碟區持久化、無閒置成本的爆量定價、短效連線權杖，以及每位客戶最高可達 100,000 個並行沙箱。該公司也在同一套 Modal 加 Managed Agents 骨幹上發布了兩個參考範例：一個 CLI 代理和一個 Slack 機器人。
Modal 發表了一篇工程文章，說明他們如何將 AI 推論副本的啟動時間從約 2,000 秒縮短到約 50 秒，方法包含四個元件：閒置健康 GPU 的緩衝池、名為 ImageFS 的延遲內容定址檔案系統、透過 gVisor 的 runsc 進行主機端檢查點/還原，以及建構在 Nvidia 驅動程式支援上的 CUDA 檢查點/還原。在超過一萬次冷啟動中，對於 bf16 格式的約 1 GiB Qwen 3 0.6B 模型，vLLM 的平均啟動延遲從 95,679 毫秒降至 13,797 毫秒，SGLang 則從 83,713 毫秒降至 17,486 毫秒。文章也指出了一些限制，包括快照僅支援單一 GPU，以及主機環境的敏感性要求每次部署需準備多個快照。
柏克萊人工智慧研究的一篇綜述探討自適應平行推理，其中推理模型本身決定何時分解子任務、要生成多少個並行執行緒，以及如何協調它們。該文章將此與固定平行方法進行對比，例如自洽性、Best-of-N、思維樹、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference，這些方法從外部強加平行結構。順序推理在 token 和延遲上呈線性擴展，並有上下文腐化的風險，這促使人們採用獨立且並行探索的平行執行緒。
Modal 對 SGLang 的排程器在多模態工作負載上進行了效能剖析，並以簡單的 Python 字典快取取代重複的 CUDA IPC handle 記錄作業，在 H100 上執行 Qwen2.5-VL-3B-Instruct 時，吞吐量提升 16.2%，平均 TTFT 降低 13.2%，TPOT 降低 17.2%。此修正已合併至 SGLang v0.5.10。
Vapi Blog 專訪 Cartesia 的 Iz Shalom，探討在整合式與開放模組化語音 AI 堆疊之間如何選擇。整合式堆疊適合範圍較窄的使用情境與快速的概念驗證，而開放式堆疊則適合多種使用情境、多語言支援，以及替換元件。文章呼籲團隊在自己的環境中測量 P99 延遲，並在進入生產環境前建立嚴謹的評估機制。
AE Studio 詳細說明如何在 Modal 上以強化學習訓練大型語言模型證明數學定理，在保持訓練迴圈固定的前提下比較演化策略與 GRPO。此設置在 GPU 上執行 vLLM 推論、於隔離的 CPU 沙箱中進行 Lean 編譯器驗證，並搭配輕量級協調器，使用逐函式映像、.map() 扇出，以及 Volumes 來存放基礎權重。
Factory 發布了一項自動化 QA 技能，能像真實使用者一樣操作應用程式，填寫表單、在終端機中輸入指令並呼叫端點，接著將包含截圖、終端機快照與 API 追蹤紀錄的結構化報告，以單一留言的形式發布在每個 pull request 上。此技能透過 Droid 在每次推送時執行，可設定為由 PR 標籤、留言指令或手動觸發的選用 CI 檢查，也能在任何 Droid 工作階段中透過 /qa 在本機使用。設定時使用 /install-qa，此功能即日起在所有 Factory 方案中提供。
Google Cloud 將 Replit 評選為 2026 年度最佳 AI 工具合作夥伴，肯定這個平台目前已有超過 5,000 萬人使用，涵蓋 85% 的《財星》500 大企業。此獎項是在 Replit 推出 Agent 4 之後頒發，該公司表示 Agent 4 比 Agent 3 快 10 倍，並可平行執行多個代理。Replit 已在 Google Cloud Marketplace 上架，並與 Cloud Run、Kubernetes Engine 和 BigQuery 整合。
GRASP 是一種針對學習式世界模型的新型梯度式規劃器，透過將軌跡提升至虛擬狀態以進行時間平行優化、在狀態迭代中加入隨機性以促進探索，以及重塑梯度使動作獲得乾淨訊號，同時避免透過高維視覺模型產生脆弱的狀態輸入梯度，讓長程規劃變得實用。此研究解決了使長程規劃脆弱的病態計算圖、非貪婪局部極小值及高維潛在失效模式等問題。此工作與 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun 及 Amir Bar 共同完成。
OpenAI 發布了一份 API 部署檢查清單，引導開發者將工作負載遷移到 Responses API 與 GPT-6 模型系列，包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。該指南涵蓋從 low 到 max 的 reasoning.effort 等級、text.verbosity、搭配延遲工具載入的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 以及 WebSocket 模式；OpenAI 表示，對於工具呼叫達 20 次以上的工作流程，WebSocket 模式已展現出端到端執行速度最高約提升 40%。指南也詳細說明可靠性與安全步驟，例如處理 429 與 503 錯誤、以 background=True 處理長時間任務、safety_identifier 以及 misalignment 監控。
推薦理由：OpenAI 的官方部署檢查清單將模型選擇、推理強度、工具搜尋、compaction 與 WebSocket 模式整合為一份 GPT-6 工作負載的遷移指南。