Mistral 宣布與 Mozilla 建立合作夥伴關係，其模型現為 Mozilla 的 AI 瀏覽助理 Firefox Smart Window（測試版）提供技術支援，服務法國與北美使用者，英國與德國預計於今年稍後推出。Mistral 表示，Smart Window 的對話預設不會儲存在 Mozilla 的伺服器上，且合作夥伴同意零資料保留，並將此協議定位為把開放權重、針對地區微調的模型帶入消費級瀏覽體驗。
Modal 在其 Auto Endpoints 上新增了對四個開放權重模型的零日支援——Kimi K3、Qwen3.8-2.4T-A95B、GLM-5.3 與 GLM-5.3-Flash，其中 Kimi K3 透過自訂的 DFlash 推測器在代理式工作負載上以每秒 460 個 token 執行。Sandbox Sidecars 進入公開 alpha，VM Sandboxes 達到公開 beta，廣泛區域定價倍數從 1.5x 降至 1.15x。儀表板煥新並推出淺色模式 beta，Python SDK 1.5.5 以及 JavaScript 與 Go SDK 0.10.0 已發布。
LiveKit 正將其 SFU 架構擴展到單一對等連線之外，讓機器人部署能執行多參與者工作階段，其中一個 Room 可讓每台攝影機、模型、操作員或服務各自作為獨立的參與者加入。LiveKit 描述了三種架構：人在迴路中的資料錄製，機器人、策略、操作員與錄製器同處一個工作階段；VLM 引導的技能編排，由視覺語言模型以約 1 Hz 選擇技能，而各別策略參與者以數十赫茲控制機器人；以及策略升級，由 30 Hz 或更高頻率的獎勵模型標記卡住或不安全的狀態，機器人則撤銷專家策略的權限。
MiniMax 推出 Music 3.0，這是一款開放權重音樂生成模型，能從創意概念與可選歌詞出發，單次生成即可作曲、編曲並製作長達五分鐘的完整歌曲。此流程將一個由 Qwen3.5-8B 初始化的 8B Global LLM 與一個 0.6B Local LLM 配對，融合兩者的連續隱藏狀態，用以調控一個 2.4B flow-matching 模組與一個 123M Flow-VAE，並採用八層 RVQ 以及隨時間描述情緒、樂器編制與演唱方式的 Structured Captions。MiniMax 表示，這能更準確地詮釋創作意圖、編曲更飽滿，人聲也更清晰自然。
推薦理由：MiniMax 的架構拆解顯示，一個 8B 全域 LLM 搭配一個 0.6B 本地模型與 flow-matching 堆疊，如何針對長歌曲的連貫性問題。
Modal 已將所有 Functions 遷移至新的地理分散式 I/O 平面，使端到端 Function Call 延遲在 p50 下降低約 80ms。先前每個 Function 的輸入與輸出都經由 us-east I/O 伺服器路由，每次呼叫增加最多數百毫秒；新平面已在至少 4 個區域提供，並可透過 routing_region 旗標選擇。伺服器層以 Go 重寫，非關鍵工作已移出熱路徑。
Modal 在 Moonshot 的 Kimi K3 發布當天，便於其平台上架這款 2.8 兆參數的多模態模型，透過按 token 計價的 Shared API 與專用 Auto Endpoints，提供 100 萬 token 的上下文視窗。Modal 表示，一款針對 K3 架構調校的客製化 DFlash 推測器，在代理式工作負載下，將互動性從每秒 100 個 token 提升至每秒 460 個 token，並將每顆 GPU 的吞吐量從 80 萬 TPM 提升至 150 萬 TPM。該模型採用混合專家設計，每個 token 啟用 896 個專家中的 16 個，而 Moonshot 在發布前也向 vLLM 貢獻了新的前綴快取實作。
推薦理由：Modal 詳細說明它如何在發布當天將 Moonshot 的 2.8 兆參數 Kimi K3 上架至其平台，其中包括一款客製化 DFlash 推測器，可將互動性從每秒 100 個 token 提升至每秒 460 個 token。
Modal 推出 Auto Endpoints，這是一項自助式服務，可將生產級 LLM 推論部署為相容 OpenAI API 的端點，並由使用者可見且可控制的 Modal App 支援。每個支援的模型都附帶一個起始部署，該部署依據 Modal 自身的基準測試調校，使用 SGLang 等引擎以及來自 Z Lab 的 DFlash 推測解碼草稿器，使用者可以檢視 GPU 選擇、引擎旗標，以及 TTFT、ITL 和推測解碼接受長度等推論指標。Modal 也將 Modal Servers 從 beta 版釋出，提供延遲僅 5ms 的區域化路由，並表示其透過內部代理系統產生端點部署，且仍由人類工程師監控。
推薦理由：Modal 的 Auto Endpoints 公開了託管推論供應商通常隱藏的服務堆疊、引擎指標和基準測試配方，為團隊提供一條自助途徑，以擁有開放模型的推論能力。
Modal 在 Hugging Face 上發布了一系列針對 Qwen 系列的 DFlash 草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 以及從 4B 到 122B-A10B 的 Qwen 3.5 變體，另外還有一個用 SGLang 構建的 Qwen 3.5 397B-A17B 的 DFlash 推測器。該公司表示，新的草稿模型比現有的 DFlash 基線額外提速 5-20%，並且可以在 B200 節點上以並發度 1 運行 Qwen 3.5 122B-A10B 達到超過 1000 tok/s，而無推測時為 250 tok/s。文章認為，在內核優化只能帶來幾個百分點提升的地方，推測解碼可帶來 2 倍至 3 倍的增益，並提出了一個用於根據接受長度估算加速比的 roofline 模型。
推薦理由：Modal 解釋了為何押注推測解碼，並發布了針對 Qwen 系列的 DFlash 草稿模型，附帶實測加速數據和用於估算增益的 roofline 模型。
Modal 為 FlashAttention-4 核心貢獻了多項最佳化，以加速以解碼為主的 LLM 推論工作負載，這類工作負載的瓶頸在於記憶體頻寬。這些變更包括將「split KV」平行化技術移植到 FA4，並以 cp.async 取代 TMA cp.async.bulk 載入，以處理不規則的記憶體存取。一個 FP8 輸入 PR（於 2026 年 4 月 17 日合併）相較於 bf16 基準可提供最高 1.16 倍的吞吐量，並可啟用更小的 KV 快取。
MiniMax 發布 M3，這是一款開放權重模型，該公司稱其為首個結合前沿編碼與代理能力、1M token 上下文窗口，以及原生圖像與影片輸入的模型。M3 採用 MiniMax 新的 MSA 稀疏注意力架構，該公司報告稱，此架構在 1M 上下文下將每 token 計算量降至前一代的 1/20，並將預填充速度提升逾 9 倍、解碼速度提升逾 15 倍。它在 SWE-Bench Pro 上得分 59.0%、在 Terminal-Bench 2.1 上得分 66.0%、在 MCP Atlas 上得分 74.2%，並可透過 MiniMax Code、Token Plan 與 API 使用，權重與技術報告承諾在 10 天內發布。
推薦理由：MiniMax M3 將 1M token 上下文、前沿編碼與代理得分，以及原生圖像與影片輸入結合於一個開放權重模型中，並以 MSA 在長上下文下降低每 token 計算量。
Modal 對 SGLang 的排程器在多模態工作負載上進行了效能剖析，並以簡單的 Python 字典快取取代重複的 CUDA IPC handle 記錄作業，在 H100 上執行 Qwen2.5-VL-3B-Instruct 時，吞吐量提升 16.2%，平均 TTFT 降低 13.2%，TPOT 降低 17.2%。此修正已合併至 SGLang v0.5.10。
Modal 推出 GLM-5 的免費 OpenAI API 相容端點，可用至 4 月底，限單個並發請求，同時發布在單節點 8 張 B200 上用 SGLang 部署的可重現程式碼。
推薦理由：Modal 為 Z.ai 的 GLM-5 提供免費 OpenAI 相容端點，並給出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具體配置。
Modal 現已提供 Mistral 3 的 Day 0 支援，讓開發者能在無需管理基礎設施的情況下，於無伺服器 GPU 上部署這個開源模型系列。在 3B 的 Ministral 3 模型上，Modal 的 GPU 快照功能將中位冷啟動時間從約 118 秒縮短至約 12 秒，降幅接近 10 倍。Ministral 3 提供 3B、8B 和 14B 三種規模，在基準測試中與 Qwen 3-VL 系列表現相當。
Modal 的部落格說明主機端開銷——GPU 閒置等待 CPU 準備工作的空檔——如何在 AI 推論中以低 GPU 核心利用率的形式顯現。在主機端開銷達 50% 時，GPU 推論成本是原本可能的兩倍。文章詳細介紹了生產環境開源推論引擎中採用的修正措施，包括在裝置上建構張量而非傳輸張量，以及減少不必要的 CUDA 核心啟動。
Modal 的 Ben Shababo 示範如何在 Modal 上以開源 Pipecat 框架與開放權重模型打造對話語音機器人，當客戶端與容器地理位置相近時，語音對語音延遲中位數約為一秒。此管線使用 NVIDIA parakeet-tdt-0.6b-v3 進行 STT、以 vLLM 服務的 Qwen3-4B-Instruct-2507、KokoroTTS 產生語音輸出，並以 ChromaDB 搭配 all-minilm-l6-v2 對 Modal 文件進行 RAG。Modal Tunnels 繞過輸入平面，為 STT、TTS 與 vLLM 服務提供低延遲的 WebSocket 與 HTTP 連結，而綁定於每個對話工作階段的 FunctionCall 則恢復自動擴縮能力，將服務固定於鄰近區域可降低網路延遲。
Modal 與 Datalab 合作，讓開發者能在 5 分鐘內於 Modal GPU 上部署 Marker 文件解析模型與 Surya OCR 工具包。Marker 是參數量低於十億的模型，支援超過 90 種語言，在 Modal 上運行可達每容器每秒約 2.2 頁，約為 M4 Mac 使用 Apple MPS 時每秒 0.22 頁的 10 倍。Datalab 的工具對研究、個人使用，以及融資或營收低於 200 萬美元的初創公司維持免費，並提供商業授權。
Modal 在其平台上使用 NVIDIA 的 parakeet-tdt-0.6b-v2 與 canary-1b-flash 實作了批次轉錄服務，回報端到端效能比一款熱門的專有 ASR API 快 100 倍或便宜 100 倍，同時在約一週的 ESB 基準音訊上達到與其相當的錯誤率。團隊將這些增益歸因於跨請求批次打散檔案、在 GPU 批次內依音訊長度排序、平行下載，以及經實證選定的 GPU 與 worker 配置。文章逐步說明架構與最佳化步驟，讓其他人也能建構類似的服務。
開源協調器 Plane、Y-Sweet 和 ForeverVM 背後的後端平台 Jamsocket 正在加入 Modal，共同創辦人 Paul Butler 和 Taylor Baldwin 也將加入 Modal 團隊。Jamsocket 的產品將照常運作，同時核心功能會遷移到 Modal；創辦人表示，這讓以 AI 為核心的客戶能在單一平台上部署 GPU 推論、程式碼沙箱和即時後端。
Modal 推出了其 Python SDK 客戶端的 1.0 版本，該公司稱這是一個里程碑，為其無伺服器雲端運算平台帶來了全新層次的成熟度與穩定性，預計未來破壞性變更將大幅減少。此版本移除了諸如自動掛載本地套件等「魔法」行為，將核心功能拆分到不同的裝飾器中，例如新的 @modal.concurrent，並將本地檔案處理整合到 modal.Image 類別之下。Modal 也計劃推出其他語言的 SDK，並正在探索該平台應如何服務 AI 驅動的代理工作流程。
一份指南評比了 10 款用於臨床的開源語音轉文字模型，評估面向包括即時準確度、臨床術語處理、運作可靠性與資料安全。名單涵蓋 Vosk、DeepSpeech、SpeechBrain、OpenAI Whisper 與 ESPnet，並對應至資源匱乏的鄉村診所、多語醫院及術語密集的研究中心等場景。所有模型皆可整合至 Vapi 的模型無關語音 AI 平台。
Modal 升級其無伺服器 Dict 鍵值儲存：新建的 Dict 現在擁有無限儲存空間，而非先前的 10GiB 上限，項目到期時間改為自最後一次寫入或讀取起 7 天。.put() 新增 skip_if_exists 旗標，可實現分散式鎖定與「恰好一次」語義，且 Dict 現在提供資料持久性。這些變更僅適用於新建的 Dict。
Modal 發布了一輪產品更新，重點是對其 beta 版記憶體快照功能的重大升級，聲稱可將 Stable Diffusion 等模型的冷啟動時間縮短一半。該平台還新增了對 OpenID Connect 的支援，用於短效身分權杖；新增 eStargz 映像壓縮，以加快從 ECR 和 Docker Hub 等登錄檔建置的速度；並正在擴展非同步任務佇列，將輸入上限從 2k 提升至 100 萬。
Modal 與 AWS 簽署策略合作協議，協助企業在其無伺服器平台上更快速地開發與部署 AI 產品，該平台專為 GPU 加速工作負載設計，可在最短一秒內啟動支援 GPU 的容器。作為協議的一部分，Modal 將上架 AWS Marketplace，並投資於 AWS PrivateLink 等整合功能，以服務有特定安全與隱私需求的客戶。
Modal 打造了 modal-http，這是一套 HTTP 與 WebSocket 堆疊，讓其無伺服器函式能夠接收 Web 請求，完整的 WebSocket 支援近期已完成。有別於 AWS Lambda 的 15 分鐘與 50 MB 限制，Modal 容器最多可使用 64 顆 CPU、336 GB 記憶體與 8 張 Nvidia H100 GPU，因此團隊將 HTTP 轉譯為函式呼叫，而非以傳統反向代理前端容器。
Modal 現已支援 WebSocket 連線，讓其平台上的函式能在用戶端與伺服器之間維持持久、雙向的連結，而非每次請求各自建立 HTTP 連線。每個 WebSocket 連線計為單一輸入，因此不受 CPU/GPU 限制的函式應允許並行輸入，否則 Modal 會為每個連線啟動新的容器。Modal 會自動擴展 WebSocket 處理常式，鎖定即時串流、長時間任務的進度更新，以及託管 ComfyUI、Streamlit 和 Gradio 等框架。