Modal 如何運用評估與推論時運算擴展來生成可掃描的 QArt 碼
Modal 運用評估與推論時運算擴展來改進其 QArt 碼系統,將 QR 掃描率提升至其 95% 的服務水準目標,同時改善美學品質,並在 p95 下於 20 秒內回傳程式碼。此項工作遵循標準的機器學習做法:收集人類判斷、與之對齊,然後擴展,解決了「在我提示下有效」的落差,該落差導致許多生成的 QR 碼無法掃描。
Modal 運用評估與推論時運算擴展來改進其 QArt 碼系統,將 QR 掃描率提升至其 95% 的服務水準目標,同時改善美學品質,並在 p95 下於 20 秒內回傳程式碼。此項工作遵循標準的機器學習做法:收集人類判斷、與之對齊,然後擴展,解決了「在我提示下有效」的落差,該落差導致許多生成的 QR 碼無法掃描。
Quora 使用 Modal Sandboxes,在其 AI 聊天機器人平台 Poe 中安全執行 LLM 生成的程式碼,讓這項功能比自行開發提前數個月上線。團隊對 Sandbox 的建立吞吐量進行壓力測試,達到每秒 1000 個沙箱,並表示節省了相當於 2 名工程師的持續基礎設施維護時間。
Vapi 現在讓使用者能透過上傳包含電話號碼與自訂變數的 CSV 檔來發動外呼活動,再指派助理或工作流程執行。Vapi 負責處理佇列、執行與記錄,通話狀態可在儀表板中查看。活動需要已驗證的電話號碼,因為無法使用 Vapi 號碼。
Mistral 與 Llama 3 在語音 AI 的設計理念上分歧:Mistral 的 7B 到 Mistral Small 3.1(24B)模型偏好低延遲效率,而 Llama 3 從 8B 擴展到 70B,以換取更強的推理與多語言能力。Mistral Small 3.1 在每秒 150-166 個 token 下達到 0.29 秒首個 token 時間,且 Mistral Small 24B 在 ARC-C、GPQA 與 MMLU 上勝過 Llama 3.1 8B Instruct,而 Llama 3.1 405B 在 MMLU 上得分 85.2%、在 GSM8K 上得分 96.8%。
Vapi 現在提供八家語音轉文字供應商——Gladia、AssemblyAI、Deepgram、Cartesia、Talkscriber、OpenAI、Speechmatics 和 ElevenLabs——作為語音代理的 Azure 即插即用替代方案。切換供應商只需變更一個 JSON 參數,讓開發者能夠對延遲、成本和合規性進行基準測試。Gladia 聲稱端到端延遲低於 100 毫秒,AssemblyAI 在一次 API 呼叫中整合摘要和 PII 遮蔽功能,而 Cartesia 完全在本地部署運行。
Google 的 Gemini 2.5 Flash 與 2.5 Pro 主要差異在於速度與推理深度,兩者皆提供 1M token 上下文視窗,並原生支援於 Vapi 語音代理。Flash 首個 token 回傳時間為 0.21–0.37 秒,速度為每秒 163 個 token,每百萬輸入/輸出 token 費用為 $0.15/$0.60;Pro 費用為 $1.25/$10,並新增 Deep Think 模式,另計劃推出 2M token 視窗。
Modal 工程師說明如何讓 Black Forest Labs 的 FLUX.1-dev 以自動擴展服務形式運行,速度約提升三倍,將 1024x1024 影像的生成時間從約 6.75 秒縮短至不到三秒。標準最佳化,即搭配 max-autotune 的 Torch 編譯器、融合 QKV 注意力與 channels-last 記憶體佈局,帶來約 1.5 倍提升;而來自 ParaAttention 儲存庫、基於 TEACache 論文的 First Block Caching,在閾值 0.12 下再增加 2 倍。編譯快取與 Modal Memory Snapshots 將冷啟動延遲降低 30 倍。
Claude 與 ChatGPT 在對話品質、上下文記憶、速度、功能、創意寫作、研究、定價與介面等方面進行比較。Claude 為 Pro 用戶處理高達 200,000+ 個 token,擅長創意寫作與細膩對話,而 ChatGPT 支援 128,000 個 token,回應時間為 2-3 秒,Claude 則為 5-10 秒,並提供圖像生成與 Custom GPTs。兩者的 Pro 方案皆為每月 $20,Claude Max 為 $100-$200,ChatGPT Pro 為 $200。
一份指南概述了房地產經紀人運用 AI 的五種方式,包括以 Vapi 打造、能全天候接聽電話、篩選潛在客戶並預約看房的語音代理。指南也涵蓋以 ChatGPT 和 Canva 自動化內容製作,以及 HouseCanary、CoreLogic 等 AI 定價工具,這些工具能產出附帶信心分數的估值。
Deepgram 的 Nova-3 將串流詞錯誤率從 Nova-2 的 8.4% 降至 6.84%,批次 WER 達到 5.26%,串流錯誤減少 54.3%。Nova-3 以單一可調適網路取代 Nova-2 各自獨立的領域專用模型,並新增即時多語言對話處理、無需重新訓練即可使用最多 100 個自助自訂詞彙,以及最多 50 個實體的遮蔽功能。兩款模型皆原生支援於 Vapi,端點完全相同,因此切換只需更改參數,不過 Nova-3 屬於 Deepgram 的高階定價層級。
Modal 推出了其 Python SDK 客戶端的 1.0 版本,該公司稱這是一個里程碑,為其無伺服器雲端運算平台帶來了全新層次的成熟度與穩定性,預計未來破壞性變更將大幅減少。此版本移除了諸如自動掛載本地套件等「魔法」行為,將核心功能拆分到不同的裝飾器中,例如新的 @modal.concurrent,並將本地檔案處理整合到 modal.Image 類別之下。Modal 也計劃推出其他語言的 SDK,並正在探索該平台應如何服務 AI 驅動的代理工作流程。
Vapi 比較 GPT-4.1 與 Claude 3.7 Sonnet 作為語音代理背後的大型語言模型,權衡對話品質、上下文處理、推理透明度、平台整合與成本。GPT-4.1 提供 1,000,000 個 token 的上下文視窗與 32,768 個 token 的輸出,並有 75% 的快取折扣;Claude 3.7 則提供 200,000 個 token 的上下文與 128,000 個 token 的輸出。兩款模型皆可在 Vapi 的語音代理平台上選用。
ElevenLabs Flash v2.5 達到 75ms 首音訊延遲,而 OpenAI 為 200ms;OpenAI 每百萬字元收費 $15,ElevenLabs 則為每月 $5–$1,320 的方案。ElevenLabs 提供 3,000+ 種聲音,支援聲音複製,字詞準確率 82%,相較之下 OpenAI 有 11 種固定聲音,準確率 77%。兩家 TTS 供應商都內建於 Vapi,可直接測試。
Vapi 概述了物流領域的三個語音 AI 應用案例:ShipEX 在 350 輛卡車上運用語音智慧,將維護警報與事故報告進行路由;愛達荷州酒類管理局的語音揀貨系統將揀貨率提升 35%;維護技術人員透過語音記錄問題,自動建立 CMMS 工單。文章還詳細介紹了與 TMS、CRM 和 WMS 系統的 API 整合及部署考量。
Vapi 現在提供 11 個內建文字轉語音模型,作為 ElevenLabs 的替代方案,包括 Neuphonic 的 Neu-hq 和 Neu-fast、Cartesia 的 Sonic 系列、Azure TTS、OpenAI TTS、Deepgram、Smallest AI 的 Lightning、LMNT、PlayHT、Hume 的 Octave 以及 Rime AI 的 Mist v2。開發者可以在幾分鐘內切換這些模型,無需重新編寫程式碼,Vapi 表示其透過這些模型每天處理超過一百萬通語音通話。
Modal 現在向所有帳戶持有人提供 Nvidia B200 與 H200 GPU,無需聯繫業務或申請配額,價格分別為每小時 6.25 美元與 4.54 美元。B200 配備 180 GB 的 HBM3e 記憶體與 8 TB/s 頻寬,在 Modal 的 vLLM 測試中,以 8 位元精度執行 DeepSeek V3,8 張 B200 相較 8 張 H200 在每秒 1 次請求下,將中位數首字延遲縮短了 2.5 倍。
一項針對五款 Speechify 替代方案的比較,選出 NaturalReader 適合跨裝置使用與應用程式整合,每年 $119;Voice Dream Reader 適合 iPhone 語音控制,一次性價格 $14.99;Murf AI 提供專業語音,每月約 $19 起。ReadSpeaker 專注於跨 45 種語言朗讀網頁,每月 $4.90 起,而 Balabolka 是免費的 Windows 專用選項。
Vapi 說明如何在四款 Gemini 模型中為語音代理做選擇:Gemini 1.0 Pro 適合可預測、符合法規的流程,輸入每百萬 token 0.50 美元、輸出 2.00 美元;Gemini 1.5 Flash 適合高吞吐量工作,具備 100 萬 token 上下文視窗;Gemini 1.5 Pro 適合深度推理,具備 200 萬 token 視窗與 99.7% 長上下文檢索準確率;Gemini 2.0 Flash 則支援原生工具呼叫。
Modal 宣布,用於開發、測試和部署資料管線的資料編排工具 Twirl 將加入該公司。Twirl 共同創辦人 Rebecka Storm 與 Eric Hansander 將加入 Modal 的斯德哥爾摩辦公室,在那裡開發並擴展 Modal 的無伺服器基礎設施,並拓展其在歐洲的版圖。Modal 表示,該團隊的資料產品經驗將協助其從 AI 推論擴展至鄰近的 AI、ML 與資料應用場景。
DeepSeek V3 每秒處理的 token 數比 R1 多 47%,每百萬輸出 token 收費 0.28 美元;R1 每百萬收費 2.19 美元,並會針對較難的任務執行內部推理迴圈。R1 在 MATH-500 上得分 97.3%、在 AIME 2024 上得分 79.8%,V3 則分別為 90.2% 與 39.2%。多數團隊會把 80-90% 的簡單查詢導向 V3,並將複雜的推理工作交給 R1。
SRTP 透過在每個媒體封包中加入加密酬載、驗證標籤與主金鑰識別碼,來保護 RTP 語音與視訊串流。它主要依賴 AES 計數器模式與 HMAC-SHA1 驗證標籤,並以序號阻擋重播攻擊,同時搭配 DTLS-SRTP 或 SDES 進行金鑰交換。SRTP 被定位為即時通訊中開銷較低的應用層選項,並以 GDPR、HIPAA 與 CPRA 作為合規驅動力。
一份關於在語音 AI 專案中使用 .env 檔案與環境設定的指南,涵蓋 Node.js 與 Python 的 dotenv 設定、將 .env 加入 .gitignore,以及 VAPI_API_KEY 和 VAPI_PROJECT_ID 等 Vapi 專用金鑰。文中引用 GitGuardian 的發現:2023 年 GitHub 上洩漏了 1,280 萬個機密,增加了 28%,並建議為每個環境使用獨立的 env 檔案,以及 git-crypt、SOPS、AWS Secrets Manager 和 HashiCorp Vault 等工具。
Vapi 部落格彙整文章列出五個用於語音整合的 Character AI 替代方案:Vapi、AnimaAI、JasperAI、Novel AI 和 AI Dungeon。Vapi 被定位為原生 API 的語音 AI 平台,支援 100 多種語言,可連接 40 多個應用程式,並具備由 Sesame 驅動的語音代理和自動化測試套件,用於捕捉幻覺。
Amazon Lex 適合已使用 AWS、需要與 Amazon 服務緊密整合的團隊,而 Dialogflow 提供更廣泛的語言支援,對新手來說學習曲線也更平緩。Lex 採用 Alexa 的技術,按用量計費,第一年每月包含 10,000 次文字與 5,000 次語音請求的免費額度;Dialogflow 支援超過 30 種語言,並提供預建代理與情感分析。
Vapi 的指南說明如何為其語音 AI 整合設定環境變數,涵蓋臨時與永久變數,以及使用者層級與系統層級變數。文中詳細介紹在 Windows、macOS 與 Linux 上的設定方式,並附上 VAPI_API_KEY、VAPI_MULTILINGUAL_SUPPORT 等 Vapi 專屬範例,以及命名與安全最佳實務,例如絕不將 API 金鑰寫死在程式碼中。
Narakeet 可將書面講稿轉換為逼真的旁白,提供橫跨 70 多種語言的 600 多種語音,並支援 140 多種語言和方言。該平台能讓旁白與 PowerPoint、Google Slides 和 Markdown 檔案同步,生成字幕和說明文字,並提供具備批次處理功能的開發者 API。方案每月約 5 美元起,並提供免費方案。
Modal 推出 Modal Batch,這是一個批次處理介面,背後是重建後的持久佇列,一次可排入 100 萬個輸入(原先為 2,000 個),並保證任務啟動後最多 7 天內仍會執行(原先為 1 天)。新的原生處理器 .spawn_map 可在一組輸入上啟動數千個容器,使用者無需自行管理非同步邏輯;Harvey 表示,將輸入分散到 1,000 個容器後,其文件處理流程速度提升 10 倍。Suno 用它在上千個 GPU 上執行 GPU 加速的預處理,Achira 則依賴其重試機制來處理量子力學資料集。
一份指南評比了 10 款用於臨床的開源語音轉文字模型,評估面向包括即時準確度、臨床術語處理、運作可靠性與資料安全。名單涵蓋 Vosk、DeepSpeech、SpeechBrain、OpenAI Whisper 與 ESPnet,並對應至資源匱乏的鄉村診所、多語醫院及術語密集的研究中心等場景。所有模型皆可整合至 Vapi 的模型無關語音 AI 平台。
Modal 升級其無伺服器 Dict 鍵值儲存:新建的 Dict 現在擁有無限儲存空間,而非先前的 10GiB 上限,項目到期時間改為自最後一次寫入或讀取起 7 天。.put() 新增 skip_if_exists 旗標,可實現分散式鎖定與「恰好一次」語義,且 Dict 現在提供資料持久性。這些變更僅適用於新建的 Dict。
Vapi 已推出與 GoHighLevel 日曆的直接整合,將其語音代理嵌入 GHL 排程流程。代理現在可以檢查已連接 GHL 日曆的即時可用性、根據來電者資訊建立聯絡人,並預約與正確聯絡人綁定的行程。設定方式與在 Vapi 中連接 Google 日曆相同,並新增四項工具:Create Event、Check Availability、Create Contact 和 Contact Get。
Modal 打造了一套「資源求解器」,運用線性規劃與單純形演算法來決定要啟動或關閉哪些雲端執行個體,以可預測的價格滿足 GPU 需求。該系統也能捕捉臨時套利機會,例如以比 H100 行情低 20% 的價格取得數百顆 H200 GPU,每年節省數百萬美元。
Modal 發布了 JavaScript 與 Go 官方 SDK 的 Alpha 版本,讓開發者能從 Node、Next.js 或 Go 服務呼叫已部署的 Modal Functions 並建立隔離沙箱,無需撰寫 Python。這些 SDK 無法部署函式,部署仍須使用 Python,且目前僅支援類 JSON 或 bytes 資料型別。Modal 表示,無論使用哪種語言,都能順暢執行 10,000 個沙箱。
Lemon Slice 打造了 Lemon Slice Live,這是一款能與 AI 角色進行即時視訊對話的產品,運用 Modal 和 Daily 的低延遲基礎元件,達到端到端視訊回應延遲 3-6 秒。此管線在各自獨立的 Modal 容器上執行 Pipecat 伺服器與 1B 參數的影片模型,兩者透過 Modal 的 Tunnel 通訊,並藉由區域選擇機制部署在同一區域;語音轉文字、LLM 回應與文字轉語音則分別由 Deepgram、Grok 和 ElevenLabs 處理。更早之前,兩個 Python Modal Functions 讓 Lemon Slice 得以擴展到每小時 10,000 次請求,而無需管理 ECS 叢集、工作佇列或負載平衡器。
Vapi 現已支援簡訊,讓其語音 AI 代理能在通話期間收發文字訊息。代理可即時回覆收到的簡訊、在對話中途從語音切換為文字,並執行全文字的流程;簡訊目前僅支援 Twilio。
sync. 正運用 Modal 每天對超過 100 小時的影片進行唇形同步,將長影片切割成多個場景,在 n 個 T4 GPU 容器上執行人臉偵測與翻譯,再將每個場景交由 A100 上專有的 LipSync GenAI 模型處理。該團隊每天部署多達 95 次,並在脫離 Google Colab 原型與 AWS Lambda 後,於一年內將 10 個主要模型變體推上正式環境。
Vapi 發布了 Vapi MCP Server,讓 AI 代理工具透過函式呼叫觸發即時語音流程與外撥電話。它支援 Claude Desktop 整合,並可透過 SSE 遠端存取,因此使用者能用自然語言請 Claude 撥打電話或安排後續追蹤。此伺服器可透過 @vapi-ai/mcp-server 取得,可在本機執行,或經由託管的 SSE 端點使用。
Modal 現在讓每個 Function 最多可排入 100 萬個輸入,高於原本的 2k,並提高 .spawn() 的速率上限,FunctionCall 結果保留 7 天。此次更新也新增了在容器內透過 app.run() 建立臨時應用程式、在 CLI 與儀表板中顯示應用程式的 Git commit 資訊,以及一個新的 TensorRT-LLM 範例,能以低於 400 毫秒的延遲提供 LLM 服務。
Modal 公開了重新設計的標誌與標準字,同時推出其首個戶外品牌活動,三塊廣告看板將在舊金山各地展示至五月底。新標誌由 Ty Wilkins 協助開發,取代了原本細線條的立方體「M」,以確保從網站圖示到廣告看板都清晰可辨。該活動將 Modal 定位為 AI 基礎設施平台,這家總部位於紐約的公司選擇舊金山,以觸及科技與 AI 的核心地帶。
GSD at Work 的顧問 Christian Ulstrup 使用 Vapi 語音 AI 代理,為他的 AI Action Sessions 工作坊以非同步語音接待系統取代預約探索通話。參與者可在方便時撥打專屬的 Vapi 電話線,逐字稿與 AI 生成的摘要會透過 Zapier 流入 Slack,並記錄在 HubSpot 中。針對近期一位客戶,全球 20 位參與者貢獻了超過 3 小時的探索內容,該場次獲得 5 分(滿分 5 分)的評價。
Modal 將 GPU、CPU 與記憶體價格調降最高達 65%,Team 方案用戶現在最多可同時執行 50 張 GPU。Modal SDK 從 0.73.46 版起已登上 conda-forge,並計畫推出 1.0 版客戶端。Modal 同時發布了 LTX-Video 圖生影片範例,並啟用新標誌。