Modal 推出 JavaScript 與 Go 的 Alpha 版 SDK
Modal 發布了 JavaScript 與 Go 官方 SDK 的 Alpha 版本,讓開發者能從 Node、Next.js 或 Go 服務呼叫已部署的 Modal Functions 並建立隔離沙箱,無需撰寫 Python。這些 SDK 無法部署函式,部署仍須使用 Python,且目前僅支援類 JSON 或 bytes 資料型別。Modal 表示,無論使用哪種語言,都能順暢執行 10,000 個沙箱。
Modal 發布了 JavaScript 與 Go 官方 SDK 的 Alpha 版本,讓開發者能從 Node、Next.js 或 Go 服務呼叫已部署的 Modal Functions 並建立隔離沙箱,無需撰寫 Python。這些 SDK 無法部署函式,部署仍須使用 Python,且目前僅支援類 JSON 或 bytes 資料型別。Modal 表示,無論使用哪種語言,都能順暢執行 10,000 個沙箱。
Lemon Slice 打造了 Lemon Slice Live,這是一款能與 AI 角色進行即時視訊對話的產品,運用 Modal 和 Daily 的低延遲基礎元件,達到端到端視訊回應延遲 3-6 秒。此管線在各自獨立的 Modal 容器上執行 Pipecat 伺服器與 1B 參數的影片模型,兩者透過 Modal 的 Tunnel 通訊,並藉由區域選擇機制部署在同一區域;語音轉文字、LLM 回應與文字轉語音則分別由 Deepgram、Grok 和 ElevenLabs 處理。更早之前,兩個 Python Modal Functions 讓 Lemon Slice 得以擴展到每小時 10,000 次請求,而無需管理 ECS 叢集、工作佇列或負載平衡器。
Vapi 現已支援簡訊,讓其語音 AI 代理能在通話期間收發文字訊息。代理可即時回覆收到的簡訊、在對話中途從語音切換為文字,並執行全文字的流程;簡訊目前僅支援 Twilio。
Vapi 發布了 Vapi MCP Server,讓 AI 代理工具透過函式呼叫觸發即時語音流程與外撥電話。它支援 Claude Desktop 整合,並可透過 SSE 遠端存取,因此使用者能用自然語言請 Claude 撥打電話或安排後續追蹤。此伺服器可透過 @vapi-ai/mcp-server 取得,可在本機執行,或經由託管的 SSE 端點使用。
Modal 現在讓每個 Function 最多可排入 100 萬個輸入,高於原本的 2k,並提高 .spawn() 的速率上限,FunctionCall 結果保留 7 天。此次更新也新增了在容器內透過 app.run() 建立臨時應用程式、在 CLI 與儀表板中顯示應用程式的 Git commit 資訊,以及一個新的 TensorRT-LLM 範例,能以低於 400 毫秒的延遲提供 LLM 服務。
Modal 將 GPU、CPU 與記憶體價格調降最高達 65%,Team 方案用戶現在最多可同時執行 50 張 GPU。Modal SDK 從 0.73.46 版起已登上 conda-forge,並計畫推出 1.0 版客戶端。Modal 同時發布了 LTX-Video 圖生影片範例,並啟用新標誌。
Modal 推出了改版後的日誌儀表板,支援時間範圍輸入篩選、可即時對容器進行效能分析以偵錯卡住的容器或輸入,以及可在執行中的容器內執行 vim、ps、strace 等指令的 Debug Shells。區域選擇現已開放所有方案使用,定價以基礎價格乘上倍數計算,且用戶端新增了 OIDC 驗證,可透過新的 oidc_auth_role_arn 欄位掛載雲端儲存桶。
Modal 為其無伺服器 GPU 容器執行環境推出記憶體快照還原功能,並表示這能讓冷啟動比標準容器啟動快約 2.5 倍。一個通常需要約 13 秒的 Stable Diffusion 推論 Function,現在只需 3.5 秒即可還原;而一個簡單的 import torch 程式,則從約 5 秒降至 p50 約 1.05 秒、p0 約 0.69 秒。快照建構於 gVisor 的 checkpoint/restore 之上,並依需求建立;當還原失敗時,會自動退回標準容器啟動。GPU 狀態目前尚未被儲存,因此還原後必須重建。
推薦理由:Modal 說明以 gVisor 為基礎的記憶體快照如何縮短無伺服器冷啟動,並提供 Stable Diffusion Function 與 torch import 範例的具體還原時間。
Modal 現在提供 NVIDIA L40S GPU,價格為每小時 1.95 美元,具備 48GB 記憶體,在記憶體密集型任務上效能提升最高達 40%,在運算密集型工作上相較其 A10 GPU 加速超過 100%。該平台還新增了用於管控網頁端點的 Proxy Auth 權杖、供沙箱使用的 Filesystem API,以及磁碟快照功能,讓使用者能從快照分支新的沙箱執行個體,以消除冷啟動。Modal 另外宣布已完成 SOC 2 Type 2 認證。
Modal 宣布 Sandboxes 正式可用,這是其基礎元件,可在與其他 Modal 資源分離的隔離環境中,安全執行來自 LLM、使用者或第三方來源的不受信任程式碼。Sandboxes 提供簡單的 exec API、可透過 Image API 在執行時配置的環境,以及用於持久化的檔案系統快照。Modal 也將支援上游整合進 SWE-bench,其中 --modal 旗標可讓 Verified 基準測試的 500 項任務在大約 7 分鐘內執行完畢,並引用 Quora 的 Poe、Codegen 和 Relevance AI 作為客戶。
Modal 發布了一輪產品更新,重點是對其 beta 版記憶體快照功能的重大升級,聲稱可將 Stable Diffusion 等模型的冷啟動時間縮短一半。該平台還新增了對 OpenID Connect 的支援,用於短效身分權杖;新增 eStargz 映像壓縮,以加快從 ECR 和 Docker Hub 等登錄檔建置的速度;並正在擴展非同步任務佇列,將輸入上限從 2k 提升至 100 萬。
Modal 現在以每小時 1.95 美元的價格向所有使用者提供 NVIDIA L40S GPU,定位為其最受歡迎的推論加速器 A10 的更快、記憶體更大的替代方案。L40S 將 GPU 記憶體加倍至 48GB,讓 Flux.1-schnell 等模型能在單一 GPU 上以 16 位元精度運行,並在記憶體受限的工作上帶來約 40% 的加速,在運算受限的 16 位元 Tensor Core 工作上加速超過 100%。
Modal 推出了靜態 IP 代理,可將對外流量導向工作區專屬的 IP,另外還推出原生 Slack 整合以提供應用程式即時警示,以及可追蹤所有工作區應用程式資源的即時用量儀表板。此次更新也為函式新增了 GPU 備援,擴大了函式可被排程的資源池,並包含用戶端變更,例如 `modal shell` 容器 ID 以及參數化函式的記憶體快照。
Modal 新增原生動態批次處理支援,讓推論函式透過單一 @modal.batched() 裝飾器搭配 max_batch_size 與 wait_ms 參數來分組請求。在 A10G 上執行 OpenAI 的 Whisper large v3 時,max_batch_size 設為 64 將吞吐量從每容器每秒約 1.2 次請求提升至約 3.3 次,並降低推論成本 65%。
Modal 推出了應用程式回滾功能,讓使用者能從儀表板或 CLI 將已部署的應用程式還原至先前的版本,另外還有一個 @batched 裝飾器,可將請求累積成動態大小的批次,以延遲換取吞吐量和 GPU 使用率。Sandbox 物件現在可以將 TCP 連接埠轉發到網際網路並執行額外的程序,日誌也可以匯出到 OpenTelemetry 供應商。CPU 核心和更高階的 GPU 也變得更便宜了。
Cursor 實作了一個 shadow workspace,讓其 AI 能在隱藏的 Electron 視窗中套用編輯並讀回 lint 結果,而不會影響使用者的編輯工作階段。文章概述了 LSP 可用性、獨立性、隱私、並行性與速度等設計目標,並說明為何複製 TextModel 或執行獨立的語言伺服器都行不通。文章也勾勒了未來用於可執行性的核心層級資料夾代理,並指出 macOS 與 Windows 缺乏可行的 FUSE 途徑,且 Rust LSP 支援目前尚不可用。
Modal 將 CPU 和部分最強大 GPU 的價格下調 15-30%,理由是 GPU 供應池競爭加劇,以及過去一年推出了更強大的 GPU。該公司同時調整 CPU/記憶體計費方式,改為對每個運行中的容器按 max(預留, 用量) 收費,所有 Functions 的預設最低預留為 0.125 個 CPU 核心。Team 方案漲至每月 250 美元,包含不限席位和每月 100 美元額度,新價格將於 9 月對受影響的 Starter 和 Team/Enterprise 用戶生效。
Modal 的每月產品更新新增了 Datadog 整合,可一鍵轉發應用程式與稽核日誌,並為函式提供雲端區域選擇,以滿足法規、出口成本或資料庫鄰近性的需求。該公司也重新設計了函式呼叫系統,以更高的輸送量和顯著更低的額外負擔為目標,針對低延遲的即時生產工作負載,並徹底改造了應用程式詳細資料頁面,加入時間區間縮放、容器狀態和映像檔檔案系統檢視。
Modal 的每月產品更新新增了 AWS S3 和 Cloudflare R2 儲存桶的可寫入掛載、用於在指定連接埠上託管非 ASGI/WSGI 網頁伺服器的 @web_server 裝飾器,以及為企業方案使用者提供的 Okta 單一登入。網頁儀表板中的磁碟區檢視器讓使用者能夠瀏覽磁碟區檔案系統,而最新用戶端則新增了透過 .include 進行多檔案應用程式組合、分割佇列,以及 Sandboxes 的 stdin 支援。
Modal 現已支援 WebSocket 連線,讓其平台上的函式能在用戶端與伺服器之間維持持久、雙向的連結,而非每次請求各自建立 HTTP 連線。每個 WebSocket 連線計為單一輸入,因此不受 CPU/GPU 限制的函式應允許並行輸入,否則 Modal 會為每個連線啟動新的容器。Modal 會自動擴展 WebSocket 處理常式,鎖定即時串流、長時間任務的進度更新,以及託管 ComfyUI、Streamlit 和 Gradio 等框架。
Modal 已為其函式新增 WebSocket 支援,可開箱即用地託管 Streamlit 等框架,並可透過 `modal container exec` 執行互動式指令,以檢查和除錯執行中的容器。H100 GPU 現已在 Modal 上提供,用戶端更新則新增 `@build` 生命週期鉤子、Volume 的自動背景提交,以及包括 get、put 和 rm 在內的擴充 CLI 指令。
Modal 已向所有使用者開放 NVIDIA H100 GPU,價格為每顆 GPU 每小時 7.65 美元。NVIDIA 的基準測試顯示,相較於 A100,H100 可提供最高 4 倍的訓練加速與最高 30 倍的推論加速,並具備 80 GB 的晶片內 DRAM,且最多可透過 NVLink 以 3.6 TB/s 連結 8 顆 GPU。使用者只需在 Modal 裝飾器中將 GPU 類型設為「H100」即可啟用。