Modal 在其平台上使用 NVIDIA 的 parakeet-tdt-0.6b-v2 與 canary-1b-flash 實作了批次轉錄服務，回報端到端效能比一款熱門的專有 ASR API 快 100 倍或便宜 100 倍，同時在約一週的 ESB 基準音訊上達到與其相當的錯誤率。團隊將這些增益歸因於跨請求批次打散檔案、在 GPU 批次內依音訊長度排序、平行下載，以及經實證選定的 GPU 與 worker 配置。文章逐步說明架構與最佳化步驟，讓其他人也能建構類似的服務。
Modal 部落格文章主張，承襲自 OpenAI、Anthropic 與 Alphabet 等 API 供應商的「每 token 美元」計價方式，對執行自架 LLM 推論的團隊有害。文章認為應用程式使用者在意的是請求而非 token，因此需要以每請求為框架來思考延遲、副本數量與運算成本。
Modal 已推出多節點訓練叢集 Beta 版，使用者只要加上 @clustered 裝飾器，就能跨多台主機取用數十個 GPU，並具備 3.2 Tbps Infiniband RDMA 互連，可達到近乎線性的擴展。該平台現在以無伺服器方式提供 NVIDIA B200 與 H200 GPU，價格分別為每小時 $6.25 與 $4.54，並宣稱 LLM 推論速度比 H100 快上 2-4 倍。Modal 同時發布 Client 1.0，強調 API 穩定性，另外還有唯讀 Volume 方法與 Cron 排程時區支援等更新。
開源協調器 Plane、Y-Sweet 和 ForeverVM 背後的後端平台 Jamsocket 正在加入 Modal，共同創辦人 Paul Butler 和 Taylor Baldwin 也將加入 Modal 團隊。Jamsocket 的產品將照常運作，同時核心功能會遷移到 Modal；創辦人表示，這讓以 AI 為核心的客戶能在單一平台上部署 GPU 推論、程式碼沙箱和即時後端。
Lovable 在 2025 年 6 月與 Anthropic、OpenAI 和 Google 合作的促銷週末期間，使用 Modal Sandboxes 執行程式碼生成式 LLM 所產生的程式碼，讓使用者在 48 小時內建構了估計 25 萬個應用程式。Modal 執行了超過 100 萬個沙箱，尖峰時最多同時執行 2 萬個，而 Lovable 的並行工作階段激增 2.5 至 3 倍，其平台團隊一次都沒有被呼叫。Lovable 改用 Modal 後，將其沙箱協調程式碼從 15,000 行減少到 700 行。
Modal 運用評估與推論時運算擴展來改進其 QArt 碼系統，將 QR 掃描率提升至其 95% 的服務水準目標，同時改善美學品質，並在 p95 下於 20 秒內回傳程式碼。此項工作遵循標準的機器學習做法：收集人類判斷、與之對齊，然後擴展，解決了「在我提示下有效」的落差，該落差導致許多生成的 QR 碼無法掃描。
Quora 使用 Modal Sandboxes，在其 AI 聊天機器人平台 Poe 中安全執行 LLM 生成的程式碼，讓這項功能比自行開發提前數個月上線。團隊對 Sandbox 的建立吞吐量進行壓力測試，達到每秒 1000 個沙箱，並表示節省了相當於 2 名工程師的持續基礎設施維護時間。
Vapi 現在讓使用者能透過上傳包含電話號碼與自訂變數的 CSV 檔來發動外呼活動，再指派助理或工作流程執行。Vapi 負責處理佇列、執行與記錄，通話狀態可在儀表板中查看。活動需要已驗證的電話號碼，因為無法使用 Vapi 號碼。
Mistral 與 Llama 3 在語音 AI 的設計理念上分歧：Mistral 的 7B 到 Mistral Small 3.1（24B）模型偏好低延遲效率，而 Llama 3 從 8B 擴展到 70B，以換取更強的推理與多語言能力。Mistral Small 3.1 在每秒 150-166 個 token 下達到 0.29 秒首個 token 時間，且 Mistral Small 24B 在 ARC-C、GPQA 與 MMLU 上勝過 Llama 3.1 8B Instruct，而 Llama 3.1 405B 在 MMLU 上得分 85.2%、在 GSM8K 上得分 96.8%。
Vapi 現在提供八家語音轉文字供應商——Gladia、AssemblyAI、Deepgram、Cartesia、Talkscriber、OpenAI、Speechmatics 和 ElevenLabs——作為語音代理的 Azure 即插即用替代方案。切換供應商只需變更一個 JSON 參數，讓開發者能夠對延遲、成本和合規性進行基準測試。Gladia 聲稱端到端延遲低於 100 毫秒，AssemblyAI 在一次 API 呼叫中整合摘要和 PII 遮蔽功能，而 Cartesia 完全在本地部署運行。
Google 的 Gemini 2.5 Flash 與 2.5 Pro 主要差異在於速度與推理深度，兩者皆提供 1M token 上下文視窗，並原生支援於 Vapi 語音代理。Flash 首個 token 回傳時間為 0.21–0.37 秒，速度為每秒 163 個 token，每百萬輸入/輸出 token 費用為 $0.15/$0.60；Pro 費用為 $1.25/$10，並新增 Deep Think 模式，另計劃推出 2M token 視窗。
Modal 工程師說明如何讓 Black Forest Labs 的 FLUX.1-dev 以自動擴展服務形式運行，速度約提升三倍，將 1024x1024 影像的生成時間從約 6.75 秒縮短至不到三秒。標準最佳化，即搭配 max-autotune 的 Torch 編譯器、融合 QKV 注意力與 channels-last 記憶體佈局，帶來約 1.5 倍提升；而來自 ParaAttention 儲存庫、基於 TEACache 論文的 First Block Caching，在閾值 0.12 下再增加 2 倍。編譯快取與 Modal Memory Snapshots 將冷啟動延遲降低 30 倍。
Deepgram 的 Nova-3 將串流詞錯誤率從 Nova-2 的 8.4% 降至 6.84%，批次 WER 達到 5.26%，串流錯誤減少 54.3%。Nova-3 以單一可調適網路取代 Nova-2 各自獨立的領域專用模型，並新增即時多語言對話處理、無需重新訓練即可使用最多 100 個自助自訂詞彙，以及最多 50 個實體的遮蔽功能。兩款模型皆原生支援於 Vapi，端點完全相同，因此切換只需更改參數，不過 Nova-3 屬於 Deepgram 的高階定價層級。
Modal 推出了其 Python SDK 客戶端的 1.0 版本，該公司稱這是一個里程碑，為其無伺服器雲端運算平台帶來了全新層次的成熟度與穩定性，預計未來破壞性變更將大幅減少。此版本移除了諸如自動掛載本地套件等「魔法」行為，將核心功能拆分到不同的裝飾器中，例如新的 @modal.concurrent，並將本地檔案處理整合到 modal.Image 類別之下。Modal 也計劃推出其他語言的 SDK，並正在探索該平台應如何服務 AI 驅動的代理工作流程。
Vapi 概述了物流領域的三個語音 AI 應用案例：ShipEX 在 350 輛卡車上運用語音智慧，將維護警報與事故報告進行路由；愛達荷州酒類管理局的語音揀貨系統將揀貨率提升 35%；維護技術人員透過語音記錄問題，自動建立 CMMS 工單。文章還詳細介紹了與 TMS、CRM 和 WMS 系統的 API 整合及部署考量。
Vapi 現在提供 11 個內建文字轉語音模型，作為 ElevenLabs 的替代方案，包括 Neuphonic 的 Neu-hq 和 Neu-fast、Cartesia 的 Sonic 系列、Azure TTS、OpenAI TTS、Deepgram、Smallest AI 的 Lightning、LMNT、PlayHT、Hume 的 Octave 以及 Rime AI 的 Mist v2。開發者可以在幾分鐘內切換這些模型，無需重新編寫程式碼，Vapi 表示其透過這些模型每天處理超過一百萬通語音通話。
Modal 現在向所有帳戶持有人提供 Nvidia B200 與 H200 GPU，無需聯繫業務或申請配額，價格分別為每小時 6.25 美元與 4.54 美元。B200 配備 180 GB 的 HBM3e 記憶體與 8 TB/s 頻寬，在 Modal 的 vLLM 測試中，以 8 位元精度執行 DeepSeek V3，8 張 B200 相較 8 張 H200 在每秒 1 次請求下，將中位數首字延遲縮短了 2.5 倍。
DeepSeek V3 每秒處理的 token 數比 R1 多 47%，每百萬輸出 token 收費 0.28 美元；R1 每百萬收費 2.19 美元，並會針對較難的任務執行內部推理迴圈。R1 在 MATH-500 上得分 97.3%、在 AIME 2024 上得分 79.8%，V3 則分別為 90.2% 與 39.2%。多數團隊會把 80-90% 的簡單查詢導向 V3，並將複雜的推理工作交給 R1。
SRTP 透過在每個媒體封包中加入加密酬載、驗證標籤與主金鑰識別碼，來保護 RTP 語音與視訊串流。它主要依賴 AES 計數器模式與 HMAC-SHA1 驗證標籤，並以序號阻擋重播攻擊，同時搭配 DTLS-SRTP 或 SDES 進行金鑰交換。SRTP 被定位為即時通訊中開銷較低的應用層選項，並以 GDPR、HIPAA 與 CPRA 作為合規驅動力。
一份關於在語音 AI 專案中使用 .env 檔案與環境設定的指南，涵蓋 Node.js 與 Python 的 dotenv 設定、將 .env 加入 .gitignore，以及 VAPI_API_KEY 和 VAPI_PROJECT_ID 等 Vapi 專用金鑰。文中引用 GitGuardian 的發現：2023 年 GitHub 上洩漏了 1,280 萬個機密，增加了 28%，並建議為每個環境使用獨立的 env 檔案，以及 git-crypt、SOPS、AWS Secrets Manager 和 HashiCorp Vault 等工具。
Amazon Lex 適合已使用 AWS、需要與 Amazon 服務緊密整合的團隊，而 Dialogflow 提供更廣泛的語言支援，對新手來說學習曲線也更平緩。Lex 採用 Alexa 的技術，按用量計費，第一年每月包含 10,000 次文字與 5,000 次語音請求的免費額度；Dialogflow 支援超過 30 種語言，並提供預建代理與情感分析。
Vapi 的指南說明如何為其語音 AI 整合設定環境變數，涵蓋臨時與永久變數，以及使用者層級與系統層級變數。文中詳細介紹在 Windows、macOS 與 Linux 上的設定方式，並附上 VAPI_API_KEY、VAPI_MULTILINGUAL_SUPPORT 等 Vapi 專屬範例，以及命名與安全最佳實務，例如絕不將 API 金鑰寫死在程式碼中。
Modal 推出 Modal Batch，這是一個批次處理介面，背後是重建後的持久佇列，一次可排入 100 萬個輸入（原先為 2,000 個），並保證任務啟動後最多 7 天內仍會執行（原先為 1 天）。新的原生處理器 .spawn_map 可在一組輸入上啟動數千個容器，使用者無需自行管理非同步邏輯；Harvey 表示，將輸入分散到 1,000 個容器後，其文件處理流程速度提升 10 倍。Suno 用它在上千個 GPU 上執行 GPU 加速的預處理，Achira 則依賴其重試機制來處理量子力學資料集。
Modal 升級其無伺服器 Dict 鍵值儲存：新建的 Dict 現在擁有無限儲存空間，而非先前的 10GiB 上限，項目到期時間改為自最後一次寫入或讀取起 7 天。.put() 新增 skip_if_exists 旗標，可實現分散式鎖定與「恰好一次」語義，且 Dict 現在提供資料持久性。這些變更僅適用於新建的 Dict。
Modal 打造了一套「資源求解器」，運用線性規劃與單純形演算法來決定要啟動或關閉哪些雲端執行個體，以可預測的價格滿足 GPU 需求。該系統也能捕捉臨時套利機會，例如以比 H100 行情低 20% 的價格取得數百顆 H200 GPU，每年節省數百萬美元。
Modal 發布了 JavaScript 與 Go 官方 SDK 的 Alpha 版本，讓開發者能從 Node、Next.js 或 Go 服務呼叫已部署的 Modal Functions 並建立隔離沙箱，無需撰寫 Python。這些 SDK 無法部署函式，部署仍須使用 Python，且目前僅支援類 JSON 或 bytes 資料型別。Modal 表示，無論使用哪種語言，都能順暢執行 10,000 個沙箱。
Lemon Slice 打造了 Lemon Slice Live，這是一款能與 AI 角色進行即時視訊對話的產品，運用 Modal 和 Daily 的低延遲基礎元件，達到端到端視訊回應延遲 3-6 秒。此管線在各自獨立的 Modal 容器上執行 Pipecat 伺服器與 1B 參數的影片模型，兩者透過 Modal 的 Tunnel 通訊，並藉由區域選擇機制部署在同一區域；語音轉文字、LLM 回應與文字轉語音則分別由 Deepgram、Grok 和 ElevenLabs 處理。更早之前，兩個 Python Modal Functions 讓 Lemon Slice 得以擴展到每小時 10,000 次請求，而無需管理 ECS 叢集、工作佇列或負載平衡器。
sync. 正運用 Modal 每天對超過 100 小時的影片進行唇形同步，將長影片切割成多個場景，在 n 個 T4 GPU 容器上執行人臉偵測與翻譯，再將每個場景交由 A100 上專有的 LipSync GenAI 模型處理。該團隊每天部署多達 95 次，並在脫離 Google Colab 原型與 AWS Lambda 後，於一年內將 10 個主要模型變體推上正式環境。
Modal 現在讓每個 Function 最多可排入 100 萬個輸入，高於原本的 2k，並提高 .spawn() 的速率上限，FunctionCall 結果保留 7 天。此次更新也新增了在容器內透過 app.run() 建立臨時應用程式、在 CLI 與儀表板中顯示應用程式的 Git commit 資訊，以及一個新的 TensorRT-LLM 範例，能以低於 400 毫秒的延遲提供 LLM 服務。
GSD at Work 的顧問 Christian Ulstrup 使用 Vapi 語音 AI 代理，為他的 AI Action Sessions 工作坊以非同步語音接待系統取代預約探索通話。參與者可在方便時撥打專屬的 Vapi 電話線，逐字稿與 AI 生成的摘要會透過 Zapier 流入 Slack，並記錄在 HubSpot 中。針對近期一位客戶，全球 20 位參與者貢獻了超過 3 小時的探索內容，該場次獲得 5 分（滿分 5 分）的評價。
Modal 將 GPU、CPU 與記憶體價格調降最高達 65%，Team 方案用戶現在最多可同時執行 50 張 GPU。Modal SDK 從 0.73.46 版起已登上 conda-forge，並計畫推出 1.0 版客戶端。Modal 同時發布了 LTX-Video 圖生影片範例，並啟用新標誌。
Modal 發布了一份指南，區分三種常被稱為「GPU 使用率」的概念：GPU 配置使用率（執行應用程式碼的 GPU 秒數佔付費 GPU 秒數的比例）、GPU 核心使用率（在 GPU 上執行程式碼的時間佔比），以及模型 FLOP/s 使用率（所用理論算力頻寬的佔比）。該指南聚焦於神經網路推論工作負載，Modal 稱之為利潤中心而非成本中心。
Modal 已將其 GPU Glossary 以 Creative Commons BY 4.0 授權開源至 GitHub；該詞彙表是一份關於 GPU 程式設計主題、相互連結的短文彙編。此詞彙表最初於兩個月前發布，旨在填補跨堆疊 GPU 參考資料的空白，而社群提出貢獻的請求促成了此次開源。該儲存庫的 GitHub Issues 已列出計畫中的擴充內容，包括兩個範例 matmul 核心，以及一個關於 Thread Block Clusters 的章節。
Modal 推出了改版後的日誌儀表板，支援時間範圍輸入篩選、可即時對容器進行效能分析以偵錯卡住的容器或輸入，以及可在執行中的容器內執行 vim、ps、strace 等指令的 Debug Shells。區域選擇現已開放所有方案使用，定價以基礎價格乘上倍數計算，且用戶端新增了 OIDC 驗證，可透過新的 oidc_auth_role_arn 欄位掛載雲端儲存桶。
Modal 為其無伺服器 GPU 容器執行環境推出記憶體快照還原功能，並表示這能讓冷啟動比標準容器啟動快約 2.5 倍。一個通常需要約 13 秒的 Stable Diffusion 推論 Function，現在只需 3.5 秒即可還原；而一個簡單的 import torch 程式，則從約 5 秒降至 p50 約 1.05 秒、p0 約 0.69 秒。快照建構於 gVisor 的 checkpoint/restore 之上，並依需求建立；當還原失敗時，會自動退回標準容器啟動。GPU 狀態目前尚未被儲存，因此還原後必須重建。
推薦理由：Modal 說明以 gVisor 為基礎的記憶體快照如何縮短無伺服器冷啟動，並提供 Stable Diffusion Function 與 torch import 範例的具體還原時間。
Modal 現在提供 NVIDIA L40S GPU，價格為每小時 1.95 美元，具備 48GB 記憶體，在記憶體密集型任務上效能提升最高達 40%，在運算密集型工作上相較其 A10 GPU 加速超過 100%。該平台還新增了用於管控網頁端點的 Proxy Auth 權杖、供沙箱使用的 Filesystem API，以及磁碟快照功能，讓使用者能從快照分支新的沙箱執行個體，以消除冷啟動。Modal 另外宣布已完成 SOC 2 Type 2 認證。
Modal 宣布 Sandboxes 正式可用，這是其基礎元件，可在與其他 Modal 資源分離的隔離環境中，安全執行來自 LLM、使用者或第三方來源的不受信任程式碼。Sandboxes 提供簡單的 exec API、可透過 Image API 在執行時配置的環境，以及用於持久化的檔案系統快照。Modal 也將支援上游整合進 SWE-bench，其中 --modal 旗標可讓 Verified 基準測試的 500 項任務在大約 7 分鐘內執行完畢，並引用 Quora 的 Poe、Codegen 和 Relevance AI 作為客戶。
Modal 發布了一輪產品更新，重點是對其 beta 版記憶體快照功能的重大升級，聲稱可將 Stable Diffusion 等模型的冷啟動時間縮短一半。該平台還新增了對 OpenID Connect 的支援，用於短效身分權杖；新增 eStargz 映像壓縮，以加快從 ECR 和 Docker Hub 等登錄檔建置的速度；並正在擴展非同步任務佇列，將輸入上限從 2k 提升至 100 萬。
Modal 現在以每小時 1.95 美元的價格向所有使用者提供 NVIDIA L40S GPU，定位為其最受歡迎的推論加速器 A10 的更快、記憶體更大的替代方案。L40S 將 GPU 記憶體加倍至 48GB，讓 Flux.1-schnell 等模型能在單一 GPU 上以 16 位元精度運行，並在記憶體受限的工作上帶來約 40% 的加速，在運算受限的 16 位元 Tensor Core 工作上加速超過 100%。
微調會調整預訓練 LLM 的權重，使其符合特定任務或領域，在品質上優於提示工程，且成本與延遲更低；相較於 GPT-3.5，微調後的 Llama 7B 在效能相當的情況下，每個 token 的成本效益約高出 50 倍。本指南涵蓋結構化輸出、風格遵循與領域專屬指令等使用案例，以及 OpenAI、Predibase、Modal、Google Colab 與 AWS SageMaker 等選項，還有 HuggingFace transformers、TRL 與 Axolotl 等框架。