Chai Discovery 在 Modal 上擴展計算藥物發現
Chai Discovery 正在使用 Modal 運行其機器學習藥物發現流程，從蛋白質嵌入和多序列比對到抗體設計。Modal Volumes 會一次性下載並索引達到數百 GB 的資料集，然後在機器之間共享，而彈性 GPU 擴展可在幾分鐘內啟動數百個 GPU。Chai 表示，同樣的設置現在能將研究工作流程帶入生產環境，而無需重寫基礎設施。
#部署/工程
Modal BlogAI 評分2222
OpenAI Developers BlogAI 評分4242 OpenAI 推出 Docs MCP Server，供開發者文件使用
OpenAI 發布了一個公開的 Model Context Protocol（MCP）伺服器，讓代理能以唯讀方式存取 developers.openai.com、platform.openai.com 與 learn.chatgpt.com 上的開發者文件。此伺服器僅提供文件內容，不會代表使用者呼叫 OpenAI API。開發者可透過 CLI 或 IDE 擴充功能，以單一共用設定將其加入 Codex，並搭配 OpenAI Docs Skill 取得附有引用的答案。
Modal BlogAI 評分3838 Modal 如何跨雲端維持超過 20,000 張 GPU 的健康運作
Modal 已將其多雲 GPU 工作池擴展至超過 20,000 張並行 GPU，並在過去幾年中啟動了超過四百萬個雲端執行個體，現在正分享其背後的可靠性系統。文章涵蓋執行個體類型測試與選擇、機器映像準備與開機檢查、被動與主動 GPU 健康檢查，以及可觀測性與支援。文中報告了超大規模雲端供應商之間的差異，例如 Cloud A 的 99.6% 開機成功率，以及 Cloud C 的 H100 在 2025 年運行溫度超過 90ºC。
Vapi BlogAI 評分3838 Vapi Voices Beta 以每分鐘 $0.0025 推出，鎖定高用量語音 AI
Vapi 發布 Vapi Voices Beta，這是一系列專為高用量、成本敏感的語音 AI 使用情境打造的語音模型，定價為每分鐘 $0.0025，延遲經過最佳化以符合對話式回應需求。這些模型出現在既有的語音下拉選單中，與 ElevenLabs、PlayHT 和 Deepgram 等供應商並列，因此團隊無須變更任何整合設定，就能將預約提醒與路由選單等高用量、低風險的流程導向這些模型。Vapi 表示，正式全面推出與否，取決於 Beta 使用情形所揭示的使用情境、真實負載下的延遲，以及節省的成本是否真的重要。
Modal BlogAI 評分4242 Modal 為 Mistral 3 新增 Day 0 支援，並透過 GPU 快照技術將冷啟動速度提升 10 倍
Modal 現已提供 Mistral 3 的 Day 0 支援，讓開發者能在無需管理基礎設施的情況下，於無伺服器 GPU 上部署這個開源模型系列。在 3B 的 Ministral 3 模型上，Modal 的 GPU 快照功能將中位冷啟動時間從約 118 秒縮短至約 12 秒，降幅接近 10 倍。Ministral 3 提供 3B、8B 和 14B 三種規模，在基準測試中與 Qwen 3-VL 系列表現相當。
Modal BlogAI 評分2222 Modal 談為何 coding agents 也需要良好的開發者體驗
Modal 主張，那些幫助人類的開發者體驗原則——緊密的回饋循環、透過 CLI/SDK/API 的程式化存取、可據以行動的錯誤訊息，以及與程式碼相鄰的一致範例——同樣能讓 coding agents 更快。由於 agents 是透過產生、執行與觀察程式碼來迭代，含糊的錯誤或僅限 UI 的設定會讓它們停滯，因此為 agents 設計意味著套用同樣的原則，而非重新發明它們。
Vapi BlogAI 評分4242 Vapi 新增結構化輸出，可從語音 AI 通話中擷取符合結構定義的資料
Vapi 現已為所有語音 AI 助理支援結構化輸出，確保每通通話都回傳符合開發者自訂 JSON 結構定義的資料。這些結構定義會在執行時透過 OpenAI、Anthropic、Gemini 等供應商的原生功能強制執行，並可重複使用於多個助理。擷取到的資料會透過通話完成 webhook 與 REST API 傳送。
Replit BlogAI 評分4242 Replit 推出 Fast Mode，讓 Agent 編輯更快、更便宜
Replit 推出 Fast Mode，這是一種更快的方式，可指示其 Agent 進行小幅、精確的變更。它運行於一個高效的 agentic 模型上，比 Build mode 便宜得多，並經過最佳化，能以最少的步驟完成請求，針對快速修正、視覺迭代和小型功能。Fast Mode 從今天起對所有 Replit 使用者開放，並透過閃電圖示啟用。
Modal BlogAI 評分3030 Reducto 如何在 Modal 上將企業文件處理的 P90 延遲降低 3 倍
Reducto 將其 30 多個文件處理模型的推論工作負載遷移至 Modal，使 P90 延遲降低 3 倍。GPU 記憶體快照將冷啟動時間減少 83%，從約 70 秒降至約 12 秒，而各客戶專屬的自動擴展資源池則隔離了流量尖峰。在一次負載測試中，Reducto 在不到一小時內將其擷取管線擴展至超過 1,000 個 GPU，以展示每分鐘 10 萬頁的處理能力。
Modal BlogAI 評分3636 Modal 部落格：主機端開銷正在扼殺你的推論效率
Modal 的部落格說明主機端開銷——GPU 閒置等待 CPU 準備工作的空檔——如何在 AI 推論中以低 GPU 核心利用率的形式顯現。在主機端開銷達 50% 時，GPU 推論成本是原本可能的兩倍。文章詳細介紹了生產環境開源推論引擎中採用的修正措施，包括在裝置上建構張量而非傳輸張量，以及減少不必要的 CUDA 核心啟動。
Modal BlogAI 評分4040 Decagon 如何在 Modal 上推出即時語音 AI
Decagon 與 Modal 合作打造 Decagon Voice 2.0，將延遲降低 65%，同時提升意圖辨識與回應品質。Decagon 透過 SFT 與 RL 微調緊湊的開源模型，超越更大的前沿模型；Modal 則訓練了自訂的 EAGLE3 草稿模型，接受長度提高 38%，並以非同步推測解碼排程器重新設計 SGLang，將吞吐量提升最高達 12%。
Modal BlogAI 評分5858 Modal、Pipecat 與開源模型實現一秒語音對語音延遲
Modal 的 Ben Shababo 示範如何在 Modal 上以開源 Pipecat 框架與開放權重模型打造對話語音機器人，當客戶端與容器地理位置相近時，語音對語音延遲中位數約為一秒。此管線使用 NVIDIA parakeet-tdt-0.6b-v3 進行 STT、以 vLLM 服務的 Qwen3-4B-Instruct-2507、KokoroTTS 產生語音輸出，並以 ChromaDB 搭配 all-minilm-l6-v2 對 Modal 文件進行 RAG。Modal Tunnels 繞過輸入平面，為 STT、TTS 與 vLLM 服務提供低延遲的 WebSocket 與 HTTP 連結，而綁定於每個對話工作階段的 FunctionCall 則恢復自動擴縮能力，將服務固定於鄰近區域可降低網路延遲。
Modal BlogAI 評分2222 Modal 更新 Volumes v2、JavaScript 與 Go SDK 至 beta 版
Modal 已為所有應用程式推出 Volumes v2 公開 beta 版，其檔案系統經過重建，可提供更高吞吐量、更快的隨機存取，以及數百個容器真正的高併發寫入，且儲存檔案數量不設上限。其 JavaScript/TypeScript 與 Go SDK 也進入 beta 版，版本為 v0.5，新增統一的 Client 物件，並支援 Sandboxes、Functions、Images 與 Volumes。
Modal BlogAI 評分3838 Modal 與 Datalab：5 分鐘內部署 Marker 與 Surya 文件智慧工具
Modal 與 Datalab 合作，讓開發者能在 5 分鐘內於 Modal GPU 上部署 Marker 文件解析模型與 Surya OCR 工具包。Marker 是參數量低於十億的模型，支援超過 90 種語言，在 Modal 上運行可達每容器每秒約 2.2 頁，約為 M4 Mac 使用 Apple MPS 時每秒 0.22 頁的 10 倍。Datalab 的工具對研究、個人使用，以及融資或營收低於 200 萬美元的初創公司維持免費，並提供商業授權。
Vapi BlogAI 評分2828 Vapi 提供一週免費的 Cartesia Sonic-3 TTS
Vapi 從 10 月 28 日至 11 月 2 日，透過其代管 API 金鑰，讓社群免費且無限制地使用 Cartesia 新推出的 Sonic-3 TTS 模型。Sonic-3 新增情緒與笑聲標籤、細緻的速度與音量控制，並支援 27 種新語言。Vapi 建議先從 Kira 和 Ariana 語音著手，以打造低延遲、聽起來自然的代理。
Modal Blog精選AI 評分6060 Modal 工程師逆向解析 Flash Attention 4 的運作原理
Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼，逆向解析這個針對 Blackwell 最佳化的注意力核心如何運作，因為目前尚無官方技術報告。這篇文章追蹤一個 tile 如何流經該核心的 warp 特化非同步管線，並詳述兩個數學技巧：一個可取代基於 SFU 之指數運算的三次多項式軟體指數，以及一個更聰明的線上 softmax 重新縮放規則，Tri Dao 表示這能將修正次數減少 10 倍。據報導，FA4 比 Nvidia 的閉源 cudnn 注意力核心快約 20%，而撰文時尚無反向版本可用。
推薦理由：Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼，解釋其 warp 特化管線與兩個數學技巧，提供了一個可轉移的視角，說明 CUDA 核心設計的發展方向。
Modal BlogAI 評分3838 Modal Vibe：建構於 Modal Sandboxes 的 AI 編碼平台，5 分鐘內可擴展至 1,000 個應用程式
Modal 打造了 Modal Vibe，這是一個開源的 demo vibe coding 平台，建構於 Modal Sandboxes 之上，能在約五分鐘內從 0 擴展到 1,000 個 AI 編碼應用程式。一次建立 1,000 個應用程式的負載測試（每個應用程式都在各自的 Sandbox 中執行）耗時約 300 秒，其中 AI API 是速率限制的環節。Modal 表示，Team Plan 可執行 1,000 個並行 Sandbox，足以支撐每月超過一百萬次工作階段。
Modal BlogAI 評分2020 Modal 產品更新：Notebooks、Sandbox 閒置逾時與用戶端變更
Modal 發布產品更新，包括可用於雲端 Python 實驗、最高支援 8 張 B200 GPU 的 Modal Notebooks，以及 modal.Sandbox.create() 新增的選用 idle_timeout 參數。用戶端也為 @app.function() 與 @app.cls() 裝飾器新增 startup_timeout 參數，並推出以命令式管理 Modal 資源類型的新 API 模式。Modal Notebooks 其後已關閉，但現有 notebook 仍可下載為 .ipynb 檔案。
Modal BlogAI 評分4747 深入解析 Modal Notebooks：Modal 如何打造能在數秒內啟動的雲端 GPU Notebook
Modal 詳細介紹了 Modal Notebooks 背後的工程設計，這是其雲端 Jupyter notebook，能在數秒內啟動 GPU 與自訂映像，並支援即時協作。核心（kernel）在 Modal Sandboxes 內執行，並由一個 modal-kernelshim 常駐程式將 Jupyter ZeroMQ 訊息轉譯為 HTTP 呼叫，再透過 Modal 的控制平面進行通道傳輸。一個延遲載入的 Rust FUSE 容器檔案系統透過分層快取按需取得檔案內容，避免了映像解包延遲——對於 8 GB 的 Python/ML 映像，該延遲可能接近一分鐘。
Modal BlogAI 評分5858 Modal 推出 Notebooks，GPU 核心啟動時間低於 5 秒
Modal Notebooks 在上個月限量測試後，現已全面開放給所有 Modal 客戶使用。這個協作式筆記本環境執行於支援 GPU 的 Python 核心上，在任意容器映像及最高 256 個 vCPU 與 8 張 H100/B200 GPU 的硬體配置下，不到 5 秒即可達到就緒狀態，並具備閒置自動關閉、共享 Volumes 與 Secrets，以及即時多游標編輯功能。Modal 表示，在 8 月的測試期間，超過 5,000 個帳號執行了 200,000 個程式碼儲存格，即將推出的功能包括記憶體快照、一鍵匯出至 Modal Apps，以及排程執行。
Modal BlogAI 評分2222 Zencastr 如何用 Modal 在幾天內轉錄數百年的音訊
Zencastr 將其播客轉錄工作負載遷移到 Modal 的 GPU 平台，在幾分鐘內擴展到 1,500 個並行 GPU，在短短幾天內處理了數百年的音訊。從自管 Kubernetes GPU 節點轉向 Modal 的 scale-to-zero 基礎設施，降低了閒置 GPU 成本，並消除了驅動程式和依賴管理的開銷。所有核心 ML 工作負載現在都在 Modal 上運行，包括轉錄、說話者計數、笑聲偵測和音訊品質評分。
Modal BlogAI 評分3838 Modal 產品更新：GPU 記憶體快照、Notebooks、服務權杖等更多功能
Modal 以 alpha 版形式新增 GPU 記憶體快照，透過跳過 Torch 編譯等步驟，將 GPU 工作負載的冷啟動時間縮短 10 倍，可透過 enable_gpu_snapshot 選項啟用。此次更新還帶來 beta 版的 Modal Notebooks，可在瀏覽器中執行 Python；供工作區管理員使用的服務權杖；以及為已部署 Functions 提供的瀏覽器生成 UI。
Modal Blog精選AI 評分6060 Modal 推出 GPU 記憶體快照，實現亞秒級無伺服器冷啟動
Modal 宣布 GPU 記憶體快照進入 alpha 階段，將其既有的 checkpoint/restore 系統延伸至擷取 GPU vRAM、CUDA 核心、串流與上下文，讓 GPU 工作負載能從凍結狀態還原，而非在開機後重建 CUDA 狀態。
推薦理由：Modal 將 GPU 狀態納入其記憶體快照，讓 torch.compile 與 vLLM 工作負載的冷啟動時間最多縮短 10 倍，並使 scale-to-zero 更為實用。
Modal BlogAI 評分3636 什麼是 AI 程式碼沙箱？
AI 程式碼沙箱是一個隔離環境，會在執行時執行 LLM 產生的程式碼，將錯誤或注入漏洞的影響範圍限制住。現代實作運行於 VM 或容器上，通常使用 gVisor 等安全執行環境來攔截系統呼叫並保護主機。多數公司選擇託管沙箱服務，而非用 Kubernetes 自行打造，因為冷啟動與擴展到數百萬個並行工作階段成本高昂。
Modal BlogAI 評分5252 Modal 開源 ASR 模型基準測試：批次轉錄速度提升 100 倍、成本大幅降低
Modal 在其平台上使用 NVIDIA 的 parakeet-tdt-0.6b-v2 與 canary-1b-flash 實作了批次轉錄服務，回報端到端效能比一款熱門的專有 ASR API 快 100 倍或便宜 100 倍，同時在約一週的 ESB 基準音訊上達到與其相當的錯誤率。團隊將這些增益歸因於跨請求批次打散檔案、在 GPU 批次內依音訊長度排序、平行下載，以及經實證選定的 GPU 與 worker 配置。文章逐步說明架構與最佳化步驟，讓其他人也能建構類似的服務。
Modal BlogAI 評分3030 以每 token 美元計價有害：為何自架 LLM 推論應按請求計價
Modal 部落格文章主張，承襲自 OpenAI、Anthropic 與 Alphabet 等 API 供應商的「每 token 美元」計價方式，對執行自架 LLM 推論的團隊有害。文章認為應用程式使用者在意的是請求而非 token，因此需要以每請求為框架來思考延遲、副本數量與運算成本。
Modal BlogAI 評分4040 Modal 產品更新：多節點訓練叢集、B200 與 H200 GPU，以及 Client 1.0
Modal 已推出多節點訓練叢集 Beta 版，使用者只要加上 @clustered 裝飾器，就能跨多台主機取用數十個 GPU，並具備 3.2 Tbps Infiniband RDMA 互連，可達到近乎線性的擴展。該平台現在以無伺服器方式提供 NVIDIA B200 與 H200 GPU，價格分別為每小時 $6.25 與 $4.54，並宣稱 LLM 推論速度比 H100 快上 2-4 倍。Modal 同時發布 Client 1.0，強調 API 穩定性，另外還有唯讀 Volume 方法與 Cron 排程時區支援等更新。
Modal BlogAI 評分3131 Jamsocket 加入 Modal
開源協調器 Plane、Y-Sweet 和 ForeverVM 背後的後端平台 Jamsocket 正在加入 Modal，共同創辦人 Paul Butler 和 Taylor Baldwin 也將加入 Modal 團隊。Jamsocket 的產品將照常運作，同時核心功能會遷移到 Modal；創辦人表示，這讓以 AI 為核心的客戶能在單一平台上部署 GPU 推論、程式碼沙箱和即時後端。
Modal BlogAI 評分2828 Modal 如何在一個週末支撐 25 萬個 Lovable 應用程式創作
Lovable 在 2025 年 6 月與 Anthropic、OpenAI 和 Google 合作的促銷週末期間，使用 Modal Sandboxes 執行程式碼生成式 LLM 所產生的程式碼，讓使用者在 48 小時內建構了估計 25 萬個應用程式。Modal 執行了超過 100 萬個沙箱，尖峰時最多同時執行 2 萬個，而 Lovable 的並行工作階段激增 2.5 至 3 倍，其平台團隊一次都沒有被呼叫。Lovable 改用 Modal 後，將其沙箱協調程式碼從 15,000 行減少到 700 行。
Modal BlogAI 評分4040 Modal 如何運用評估與推論時運算擴展來生成可掃描的 QArt 碼
Modal 運用評估與推論時運算擴展來改進其 QArt 碼系統，將 QR 掃描率提升至其 95% 的服務水準目標，同時改善美學品質，並在 p95 下於 20 秒內回傳程式碼。此項工作遵循標準的機器學習做法：收集人類判斷、與之對齊，然後擴展，解決了「在我提示下有效」的落差，該落差導致許多生成的 QR 碼無法掃描。
Modal BlogAI 評分2828 Quora 如何運用 Modal 同時執行數千個 Python 沙箱
Quora 使用 Modal Sandboxes，在其 AI 聊天機器人平台 Poe 中安全執行 LLM 生成的程式碼，讓這項功能比自行開發提前數個月上線。團隊對 Sandbox 的建立吞吐量進行壓力測試，達到每秒 1000 個沙箱，並表示節省了相當於 2 名工程師的持續基礎設施維護時間。
Vapi BlogAI 評分3838 Vapi 推出透過 CSV 上傳發動外呼活動的功能
Vapi 現在讓使用者能透過上傳包含電話號碼與自訂變數的 CSV 檔來發動外呼活動，再指派助理或工作流程執行。Vapi 負責處理佇列、執行與記錄，通話狀態可在儀表板中查看。活動需要已驗證的電話號碼，因為無法使用 Vapi 號碼。
Vapi BlogAI 評分2222 Mistral 與 Llama 3：語音 AI 應用的完整比較
Mistral 與 Llama 3 在語音 AI 的設計理念上分歧：Mistral 的 7B 到 Mistral Small 3.1（24B）模型偏好低延遲效率，而 Llama 3 從 8B 擴展到 70B，以換取更強的推理與多語言能力。Mistral Small 3.1 在每秒 150-166 個 token 下達到 0.29 秒首個 token 時間，且 Mistral Small 24B 在 ARC-C、GPQA 與 MMLU 上勝過 Llama 3.1 8B Instruct，而 Llama 3.1 405B 在 MMLU 上得分 85.2%、在 GSM8K 上得分 96.8%。
Vapi BlogAI 評分2222 Vapi 上語音 AI STT 的 8 個 Azure 替代方案
Vapi 現在提供八家語音轉文字供應商——Gladia、AssemblyAI、Deepgram、Cartesia、Talkscriber、OpenAI、Speechmatics 和 ElevenLabs——作為語音代理的 Azure 即插即用替代方案。切換供應商只需變更一個 JSON 參數，讓開發者能夠對延遲、成本和合規性進行基準測試。Gladia 聲稱端到端延遲低於 100 毫秒，AssemblyAI 在一次 API 呼叫中整合摘要和 PII 遮蔽功能，而 Cartesia 完全在本地部署運行。
Vapi BlogAI 評分2222 Gemini Flash 與 Pro：比較 Google 最新 LLM
Google 的 Gemini 2.5 Flash 與 2.5 Pro 主要差異在於速度與推理深度，兩者皆提供 1M token 上下文視窗，並原生支援於 Vapi 語音代理。Flash 首個 token 回傳時間為 0.21–0.37 秒，速度為每秒 163 個 token，每百萬輸入/輸出 token 費用為 $0.15/$0.60；Pro 費用為 $1.25/$10，並新增 Deep Think 模式，另計劃推出 2M token 視窗。
Modal BlogAI 評分5858 Modal 展示如何將 FLUX.1-dev 的執行速度提升三倍
Modal 工程師說明如何讓 Black Forest Labs 的 FLUX.1-dev 以自動擴展服務形式運行，速度約提升三倍，將 1024x1024 影像的生成時間從約 6.75 秒縮短至不到三秒。標準最佳化，即搭配 max-autotune 的 Torch 編譯器、融合 QKV 注意力與 channels-last 記憶體佈局，帶來約 1.5 倍提升；而來自 ParaAttention 儲存庫、基於 TEACache 論文的 First Block Caching，在閾值 0.12 下再增加 2 倍。編譯快取與 Modal Memory Snapshots 將冷啟動延遲降低 30 倍。
Vapi BlogAI 評分3838 Deepgram Nova-3 與 Nova-2：語音轉文字引擎如何演進
Deepgram 的 Nova-3 將串流詞錯誤率從 Nova-2 的 8.4% 降至 6.84%，批次 WER 達到 5.26%，串流錯誤減少 54.3%。Nova-3 以單一可調適網路取代 Nova-2 各自獨立的領域專用模型，並新增即時多語言對話處理、無需重新訓練即可使用最多 100 個自助自訂詞彙，以及最多 50 個實體的遮蔽功能。兩款模型皆原生支援於 Vapi，端點完全相同，因此切換只需更改參數，不過 Nova-3 屬於 Deepgram 的高階定價層級。
Modal BlogAI 評分4040 Modal 1.0 發布：更穩定的 Python SDK，採用明確配置
Modal 推出了其 Python SDK 客戶端的 1.0 版本，該公司稱這是一個里程碑，為其無伺服器雲端運算平台帶來了全新層次的成熟度與穩定性，預計未來破壞性變更將大幅減少。此版本移除了諸如自動掛載本地套件等「魔法」行為，將核心功能拆分到不同的裝飾器中，例如新的 @modal.concurrent，並將本地檔案處理整合到 modal.Image 類別之下。Modal 也計劃推出其他語言的 SDK，並正在探索該平台應如何服務 AI 驅動的代理工作流程。
Vapi BlogAI 評分2222 語音 AI 改善物流的三個實例
Vapi 概述了物流領域的三個語音 AI 應用案例：ShipEX 在 350 輛卡車上運用語音智慧，將維護警報與事故報告進行路由；愛達荷州酒類管理局的語音揀貨系統將揀貨率提升 35%；維護技術人員透過語音記錄問題，自動建立 CMMS 工單。文章還詳細介紹了與 TMS、CRM 和 WMS 系統的 API 整合及部署考量。
Vapi BlogAI 評分2222 11 個 ElevenLabs 替代方案：Vapi 原生 TTS 模型
Vapi 現在提供 11 個內建文字轉語音模型，作為 ElevenLabs 的替代方案，包括 Neuphonic 的 Neu-hq 和 Neu-fast、Cartesia 的 Sonic 系列、Azure TTS、OpenAI TTS、Deepgram、Smallest AI 的 Lightning、LMNT、PlayHT、Hume 的 Octave 以及 Rime AI 的 Mist v2。開發者可以在幾分鐘內切換這些模型，無需重新編寫程式碼，Vapi 表示其透過這些模型每天處理超過一百萬通語音通話。