Modal 以 Python 字典快取讓 SGLang 多模態推論提升超過 10%
Modal 對 SGLang 的排程器在多模態工作負載上進行了效能剖析,並以簡單的 Python 字典快取取代重複的 CUDA IPC handle 記錄作業,在 H100 上執行 Qwen2.5-VL-3B-Instruct 時,吞吐量提升 16.2%,平均 TTFT 降低 13.2%,TPOT 降低 17.2%。此修正已合併至 SGLang v0.5.10。
Modal 對 SGLang 的排程器在多模態工作負載上進行了效能剖析,並以簡單的 Python 字典快取取代重複的 CUDA IPC handle 記錄作業,在 H100 上執行 Qwen2.5-VL-3B-Instruct 時,吞吐量提升 16.2%,平均 TTFT 降低 13.2%,TPOT 降低 17.2%。此修正已合併至 SGLang v0.5.10。
Vapi Blog 專訪 Cartesia 的 Iz Shalom,探討在整合式與開放模組化語音 AI 堆疊之間如何選擇。整合式堆疊適合範圍較窄的使用情境與快速的概念驗證,而開放式堆疊則適合多種使用情境、多語言支援,以及替換元件。文章呼籲團隊在自己的環境中測量 P99 延遲,並在進入生產環境前建立嚴謹的評估機制。
AE Studio 詳細說明如何在 Modal 上以強化學習訓練大型語言模型證明數學定理,在保持訓練迴圈固定的前提下比較演化策略與 GRPO。此設置在 GPU 上執行 vLLM 推論、於隔離的 CPU 沙箱中進行 Lean 編譯器驗證,並搭配輕量級協調器,使用逐函式映像、.map() 扇出,以及 Volumes 來存放基礎權重。
OpenAI 發布了一份 API 部署檢查清單,引導開發者將工作負載遷移到 Responses API 與 GPT-6 模型系列,包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。該指南涵蓋從 low 到 max 的 reasoning.effort 等級、text.verbosity、搭配延遲工具載入的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 以及 WebSocket 模式;OpenAI 表示,對於工具呼叫達 20 次以上的工作流程,WebSocket 模式已展現出端到端執行速度最高約提升 40%。指南也詳細說明可靠性與安全步驟,例如處理 429 與 503 錯誤、以 background=True 處理長時間任務、safety_identifier 以及 misalignment 監控。
推薦理由:OpenAI 的官方部署檢查清單將模型選擇、推理強度、工具搜尋、compaction 與 WebSocket 模式整合為一份 GPT-6 工作負載的遷移指南。
Modal 發布了一篇教學,說明如何在 OpenAI 今日推出的 OpenAI Agents SDK 之上打造自訂的編碼代理框架,並使用 Modal Sandboxes 為代理提供隔離的 Linux 環境與 GPU。該指南從一個以 exec 為基礎的最小代理開始,接著加入用於記憶的 session、用於平行非同步工作的協調器與子代理池、GPU 配額、用來去重複設定流程的檔案系統快照,以及技能子系統,最後完成一個能在平行 GPU 子代理上執行 OpenAI Parameter Golf 挑戰的框架。Modal 引用了 Ramp 在 Modal 上運行的背景編碼代理艦隊,並表示該艦隊目前產出該公司超過一半的 PR。
Vapi 的前置部署工程師表示,從示範到正式上線之間的落差,正是多數企業語音 AI 計畫停滯的地方,這需要大量測試、防護機制,以及以意圖為基礎的設計,而非精確片語比對。團隊警告會出現「人格漂移」,也就是代理會採用來電者的說話風格,並指出 LLM 具有非確定性,因此部署需要界定容錯範圍並持續迭代。他們建議從成本最佳化著手,但以創造營收為目標,並將良好的互動基準訂在不到一分鐘。
Doppel 將其大部分 ML 工作流程遷移至 Modal,消除了拖慢訓練實驗與推論部署的基礎設施摩擦。透過 map() 進行的平行實驗取代了循序執行,而映像層快取與持久性磁碟區將建置時間縮短多達 10 倍,複雜設定更能達到一分鐘內的暖建置。
OpenAI 更新了 Sora 2 提示指南,涵蓋新的 API 功能:可重複使用的物件與動物角色參考、1920×1080 與 1080×1920 匯出、最長片段長度從 12 秒提高到 20 秒、以完整原始片段作為脈絡的影片延長,以及用於非同步影片任務的 Batch API。該指南也說明鏡頭取景、攝影機運動、光線與對話的提示結構,並指出解析度、時長與角色 ID 必須設為 API 參數,而非以文字描述。支援最多 20 秒的延長,且一支影片最多可延長 6 次,總計 120 秒。
推薦理由:OpenAI 更新的 Sora 2 提示指南詳述了角色參考、20 秒片段與影片延長等新 API 功能,以及可用於控制鏡頭的可重複使用提示範本。
OpenAI 發布了一份 Codex 提示詞指南,供開發者透過 API 直接呼叫針對 Codex 調校的 gpt-5.3-codex 模型,建議互動式編碼採用中等推理強度,最困難的任務則採用高或 xhigh。該指南涵蓋將現有測試框架遷移至開源 codex-cli,包括標準 Codex-Max 提示詞、apply_patch、shell_command 與 update_plan 工具,以及透過 Responses API 中的 /compact 對多小時工作階段進行一等公民級壓縮。指南亦說明了新的 phase 欄位,僅支援於 gpt-5.3-codex,會將助理項目標記為 commentary 或 final_answer,且必須保留於歷史記錄中以避免效能下降。
推薦理由:OpenAI 的官方指南詳細說明如何為 gpt-5.3-codex 調整提示詞、工具與壓縮,為團隊提供具體的遷移路徑來建構自家的編碼代理。
OpenClaw 代理現在可透過 Vapi 相容於 AgentSkills 的技能撥打和接聽電話,只需約五分鐘,即可透過 npx skills CLI 安裝,或直接請代理代為安裝。Vapi 管線的目標是低於 500ms 的語音回應,並支援通話中呼叫工具,共有八項技能,涵蓋助理、通話、電話號碼、工具、小隊、webhook 與工作流程。
Ramp 打造了 Ramp Inspect,一個在 Modal Sandboxes 上運行的內部背景編碼代理,如今 Ramp 前端與後端儲存庫中約有一半已合併的拉取請求由它發起。每個工作階段都能在數秒內啟動包含 Postgres、Redis、Temporal 與 RabbitMQ 的全端環境,因為一個 Modal cron 作業每 30 分鐘會複製儲存庫並儲存檔案系統快照。Modal Functions、Dicts 與 Queues 負責處理快照建置、工作階段鎖定與提示路由,讓 Inspect 得以支援多人工作階段與數百個並行工作階段,且彼此互不影響。
Modal 已將其多雲 GPU 工作池擴展至超過 20,000 張並行 GPU,並在過去幾年中啟動了超過四百萬個雲端執行個體,現在正分享其背後的可靠性系統。文章涵蓋執行個體類型測試與選擇、機器映像準備與開機檢查、被動與主動 GPU 健康檢查,以及可觀測性與支援。文中報告了超大規模雲端供應商之間的差異,例如 Cloud A 的 99.6% 開機成功率,以及 Cloud C 的 H100 在 2025 年運行溫度超過 90ºC。
Reducto 將其 30 多個文件處理模型的推論工作負載遷移至 Modal,使 P90 延遲降低 3 倍。GPU 記憶體快照將冷啟動時間減少 83%,從約 70 秒降至約 12 秒,而各客戶專屬的自動擴展資源池則隔離了流量尖峰。在一次負載測試中,Reducto 在不到一小時內將其擷取管線擴展至超過 1,000 個 GPU,以展示每分鐘 10 萬頁的處理能力。
Modal 的部落格說明主機端開銷——GPU 閒置等待 CPU 準備工作的空檔——如何在 AI 推論中以低 GPU 核心利用率的形式顯現。在主機端開銷達 50% 時,GPU 推論成本是原本可能的兩倍。文章詳細介紹了生產環境開源推論引擎中採用的修正措施,包括在裝置上建構張量而非傳輸張量,以及減少不必要的 CUDA 核心啟動。
Decagon 與 Modal 合作打造 Decagon Voice 2.0,將延遲降低 65%,同時提升意圖辨識與回應品質。Decagon 透過 SFT 與 RL 微調緊湊的開源模型,超越更大的前沿模型;Modal 則訓練了自訂的 EAGLE3 草稿模型,接受長度提高 38%,並以非同步推測解碼排程器重新設計 SGLang,將吞吐量提升最高達 12%。
Modal 的 Ben Shababo 示範如何在 Modal 上以開源 Pipecat 框架與開放權重模型打造對話語音機器人,當客戶端與容器地理位置相近時,語音對語音延遲中位數約為一秒。此管線使用 NVIDIA parakeet-tdt-0.6b-v3 進行 STT、以 vLLM 服務的 Qwen3-4B-Instruct-2507、KokoroTTS 產生語音輸出,並以 ChromaDB 搭配 all-minilm-l6-v2 對 Modal 文件進行 RAG。Modal Tunnels 繞過輸入平面,為 STT、TTS 與 vLLM 服務提供低延遲的 WebSocket 與 HTTP 連結,而綁定於每個對話工作階段的 FunctionCall 則恢復自動擴縮能力,將服務固定於鄰近區域可降低網路延遲。
Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼,逆向解析這個針對 Blackwell 最佳化的注意力核心如何運作,因為目前尚無官方技術報告。這篇文章追蹤一個 tile 如何流經該核心的 warp 特化非同步管線,並詳述兩個數學技巧:一個可取代基於 SFU 之指數運算的三次多項式軟體指數,以及一個更聰明的線上 softmax 重新縮放規則,Tri Dao 表示這能將修正次數減少 10 倍。據報導,FA4 比 Nvidia 的閉源 cudnn 注意力核心快約 20%,而撰文時尚無反向版本可用。
推薦理由:Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼,解釋其 warp 特化管線與兩個數學技巧,提供了一個可轉移的視角,說明 CUDA 核心設計的發展方向。
Modal 詳細介紹了 Modal Notebooks 背後的工程設計,這是其雲端 Jupyter notebook,能在數秒內啟動 GPU 與自訂映像,並支援即時協作。核心(kernel)在 Modal Sandboxes 內執行,並由一個 modal-kernelshim 常駐程式將 Jupyter ZeroMQ 訊息轉譯為 HTTP 呼叫,再透過 Modal 的控制平面進行通道傳輸。一個延遲載入的 Rust FUSE 容器檔案系統透過分層快取按需取得檔案內容,避免了映像解包延遲——對於 8 GB 的 Python/ML 映像,該延遲可能接近一分鐘。
Zencastr 將其播客轉錄工作負載遷移到 Modal 的 GPU 平台,在幾分鐘內擴展到 1,500 個並行 GPU,在短短幾天內處理了數百年的音訊。從自管 Kubernetes GPU 節點轉向 Modal 的 scale-to-zero 基礎設施,降低了閒置 GPU 成本,並消除了驅動程式和依賴管理的開銷。所有核心 ML 工作負載現在都在 Modal 上運行,包括轉錄、說話者計數、笑聲偵測和音訊品質評分。
AI 程式碼沙箱是一個隔離環境,會在執行時執行 LLM 產生的程式碼,將錯誤或注入漏洞的影響範圍限制住。現代實作運行於 VM 或容器上,通常使用 gVisor 等安全執行環境來攔截系統呼叫並保護主機。多數公司選擇託管沙箱服務,而非用 Kubernetes 自行打造,因為冷啟動與擴展到數百萬個並行工作階段成本高昂。
Modal 在其平台上使用 NVIDIA 的 parakeet-tdt-0.6b-v2 與 canary-1b-flash 實作了批次轉錄服務,回報端到端效能比一款熱門的專有 ASR API 快 100 倍或便宜 100 倍,同時在約一週的 ESB 基準音訊上達到與其相當的錯誤率。團隊將這些增益歸因於跨請求批次打散檔案、在 GPU 批次內依音訊長度排序、平行下載,以及經實證選定的 GPU 與 worker 配置。文章逐步說明架構與最佳化步驟,讓其他人也能建構類似的服務。
Modal 運用評估與推論時運算擴展來改進其 QArt 碼系統,將 QR 掃描率提升至其 95% 的服務水準目標,同時改善美學品質,並在 p95 下於 20 秒內回傳程式碼。此項工作遵循標準的機器學習做法:收集人類判斷、與之對齊,然後擴展,解決了「在我提示下有效」的落差,該落差導致許多生成的 QR 碼無法掃描。
Quora 使用 Modal Sandboxes,在其 AI 聊天機器人平台 Poe 中安全執行 LLM 生成的程式碼,讓這項功能比自行開發提前數個月上線。團隊對 Sandbox 的建立吞吐量進行壓力測試,達到每秒 1000 個沙箱,並表示節省了相當於 2 名工程師的持續基礎設施維護時間。
Mistral 與 Llama 3 在語音 AI 的設計理念上分歧:Mistral 的 7B 到 Mistral Small 3.1(24B)模型偏好低延遲效率,而 Llama 3 從 8B 擴展到 70B,以換取更強的推理與多語言能力。Mistral Small 3.1 在每秒 150-166 個 token 下達到 0.29 秒首個 token 時間,且 Mistral Small 24B 在 ARC-C、GPQA 與 MMLU 上勝過 Llama 3.1 8B Instruct,而 Llama 3.1 405B 在 MMLU 上得分 85.2%、在 GSM8K 上得分 96.8%。
Vapi 現在提供八家語音轉文字供應商——Gladia、AssemblyAI、Deepgram、Cartesia、Talkscriber、OpenAI、Speechmatics 和 ElevenLabs——作為語音代理的 Azure 即插即用替代方案。切換供應商只需變更一個 JSON 參數,讓開發者能夠對延遲、成本和合規性進行基準測試。Gladia 聲稱端到端延遲低於 100 毫秒,AssemblyAI 在一次 API 呼叫中整合摘要和 PII 遮蔽功能,而 Cartesia 完全在本地部署運行。
Google 的 Gemini 2.5 Flash 與 2.5 Pro 主要差異在於速度與推理深度,兩者皆提供 1M token 上下文視窗,並原生支援於 Vapi 語音代理。Flash 首個 token 回傳時間為 0.21–0.37 秒,速度為每秒 163 個 token,每百萬輸入/輸出 token 費用為 $0.15/$0.60;Pro 費用為 $1.25/$10,並新增 Deep Think 模式,另計劃推出 2M token 視窗。
Modal 工程師說明如何讓 Black Forest Labs 的 FLUX.1-dev 以自動擴展服務形式運行,速度約提升三倍,將 1024x1024 影像的生成時間從約 6.75 秒縮短至不到三秒。標準最佳化,即搭配 max-autotune 的 Torch 編譯器、融合 QKV 注意力與 channels-last 記憶體佈局,帶來約 1.5 倍提升;而來自 ParaAttention 儲存庫、基於 TEACache 論文的 First Block Caching,在閾值 0.12 下再增加 2 倍。編譯快取與 Modal Memory Snapshots 將冷啟動延遲降低 30 倍。
一份指南概述了房地產經紀人運用 AI 的五種方式,包括以 Vapi 打造、能全天候接聽電話、篩選潛在客戶並預約看房的語音代理。指南也涵蓋以 ChatGPT 和 Canva 自動化內容製作,以及 HouseCanary、CoreLogic 等 AI 定價工具,這些工具能產出附帶信心分數的估值。
Deepgram 的 Nova-3 將串流詞錯誤率從 Nova-2 的 8.4% 降至 6.84%,批次 WER 達到 5.26%,串流錯誤減少 54.3%。Nova-3 以單一可調適網路取代 Nova-2 各自獨立的領域專用模型,並新增即時多語言對話處理、無需重新訓練即可使用最多 100 個自助自訂詞彙,以及最多 50 個實體的遮蔽功能。兩款模型皆原生支援於 Vapi,端點完全相同,因此切換只需更改參數,不過 Nova-3 屬於 Deepgram 的高階定價層級。
ElevenLabs Flash v2.5 達到 75ms 首音訊延遲,而 OpenAI 為 200ms;OpenAI 每百萬字元收費 $15,ElevenLabs 則為每月 $5–$1,320 的方案。ElevenLabs 提供 3,000+ 種聲音,支援聲音複製,字詞準確率 82%,相較之下 OpenAI 有 11 種固定聲音,準確率 77%。兩家 TTS 供應商都內建於 Vapi,可直接測試。
Vapi 概述了物流領域的三個語音 AI 應用案例:ShipEX 在 350 輛卡車上運用語音智慧,將維護警報與事故報告進行路由;愛達荷州酒類管理局的語音揀貨系統將揀貨率提升 35%;維護技術人員透過語音記錄問題,自動建立 CMMS 工單。文章還詳細介紹了與 TMS、CRM 和 WMS 系統的 API 整合及部署考量。
Vapi 說明如何在四款 Gemini 模型中為語音代理做選擇:Gemini 1.0 Pro 適合可預測、符合法規的流程,輸入每百萬 token 0.50 美元、輸出 2.00 美元;Gemini 1.5 Flash 適合高吞吐量工作,具備 100 萬 token 上下文視窗;Gemini 1.5 Pro 適合深度推理,具備 200 萬 token 視窗與 99.7% 長上下文檢索準確率;Gemini 2.0 Flash 則支援原生工具呼叫。
DeepSeek V3 每秒處理的 token 數比 R1 多 47%,每百萬輸出 token 收費 0.28 美元;R1 每百萬收費 2.19 美元,並會針對較難的任務執行內部推理迴圈。R1 在 MATH-500 上得分 97.3%、在 AIME 2024 上得分 79.8%,V3 則分別為 90.2% 與 39.2%。多數團隊會把 80-90% 的簡單查詢導向 V3,並將複雜的推理工作交給 R1。
SRTP 透過在每個媒體封包中加入加密酬載、驗證標籤與主金鑰識別碼,來保護 RTP 語音與視訊串流。它主要依賴 AES 計數器模式與 HMAC-SHA1 驗證標籤,並以序號阻擋重播攻擊,同時搭配 DTLS-SRTP 或 SDES 進行金鑰交換。SRTP 被定位為即時通訊中開銷較低的應用層選項,並以 GDPR、HIPAA 與 CPRA 作為合規驅動力。
一份關於在語音 AI 專案中使用 .env 檔案與環境設定的指南,涵蓋 Node.js 與 Python 的 dotenv 設定、將 .env 加入 .gitignore,以及 VAPI_API_KEY 和 VAPI_PROJECT_ID 等 Vapi 專用金鑰。文中引用 GitGuardian 的發現:2023 年 GitHub 上洩漏了 1,280 萬個機密,增加了 28%,並建議為每個環境使用獨立的 env 檔案,以及 git-crypt、SOPS、AWS Secrets Manager 和 HashiCorp Vault 等工具。
Amazon Lex 適合已使用 AWS、需要與 Amazon 服務緊密整合的團隊,而 Dialogflow 提供更廣泛的語言支援,對新手來說學習曲線也更平緩。Lex 採用 Alexa 的技術,按用量計費,第一年每月包含 10,000 次文字與 5,000 次語音請求的免費額度;Dialogflow 支援超過 30 種語言,並提供預建代理與情感分析。
Vapi 的指南說明如何為其語音 AI 整合設定環境變數,涵蓋臨時與永久變數,以及使用者層級與系統層級變數。文中詳細介紹在 Windows、macOS 與 Linux 上的設定方式,並附上 VAPI_API_KEY、VAPI_MULTILINGUAL_SUPPORT 等 Vapi 專屬範例,以及命名與安全最佳實務,例如絕不將 API 金鑰寫死在程式碼中。
一份指南評比了 10 款用於臨床的開源語音轉文字模型,評估面向包括即時準確度、臨床術語處理、運作可靠性與資料安全。名單涵蓋 Vosk、DeepSpeech、SpeechBrain、OpenAI Whisper 與 ESPnet,並對應至資源匱乏的鄉村診所、多語醫院及術語密集的研究中心等場景。所有模型皆可整合至 Vapi 的模型無關語音 AI 平台。
Modal 打造了一套「資源求解器」,運用線性規劃與單純形演算法來決定要啟動或關閉哪些雲端執行個體,以可預測的價格滿足 GPU 需求。該系統也能捕捉臨時套利機會,例如以比 H100 行情低 20% 的價格取得數百顆 H200 GPU,每年節省數百萬美元。
sync. 正運用 Modal 每天對超過 100 小時的影片進行唇形同步,將長影片切割成多個場景,在 n 個 T4 GPU 容器上執行人臉偵測與翻譯,再將每個場景交由 A100 上專有的 LipSync GenAI 模型處理。該團隊每天部署多達 95 次,並在脫離 Google Colab 原型與 AWS Lambda 後,於一年內將 10 個主要模型變體推上正式環境。