Vapi 測試 Jev 作為語音 AI 的即時護欄
Vapi 進行了早期實驗,使用 TypeSafe AI 早期存取的「System One」模型 Jev 作為護欄,在語音助理的回應被說出之前,評估該回應是否違反開發者定義的規則。在一項早期測試中,Jev 至少攔截了四分之三的違規回應,不過 Vapi 表示這並非 100% 的合規保證,只是在提示詞護欄之上額外增加的一道檢查。
Vapi 進行了早期實驗,使用 TypeSafe AI 早期存取的「System One」模型 Jev 作為護欄,在語音助理的回應被說出之前,評估該回應是否違反開發者定義的規則。在一項早期測試中,Jev 至少攔截了四分之三的違規回應,不過 Vapi 表示這並非 100% 的合規保證,只是在提示詞護欄之上額外增加的一道檢查。
本指南比較 LiveKit Agents 與 Pipecat 這兩個它認為對打造生產級語音與視訊 AI 代理最重要的開源框架,涵蓋架構、採用情況、開發者體驗與生產就緒度。LiveKit Agents 運行於 LiveKit 的開源 WebRTC 與 SIP 基礎設施上,並為你串接好管線;Pipecat 則不預設傳輸方式,由開發者逐階段組裝管線。文中也說明 TEN Framework、Dograh、Vision Agents 與 Vocode 各自的位置。
Descript 2026 年 9 月 17 日的更新新增 18 種字幕預設與 10 種全新文字動畫,並在 145.0.15 或更新版本中,將 AI 生成的背景音樂與音效直接放置於時間軸上。結帳功能現在會以當地貨幣顯示價格,並支援 Apple Pay、Google Pay、Cash App 及其他選項,語音選擇器則取自 ElevenLabs 語音庫。
LiveKit 推出 Startup Program,為符合資格的初創公司提供總價值約 23,000 美元的資源:來自七個合作夥伴的 7,000 美元推理額度、10,000 美元的 LiveKit Cloud 額度,以及原價每月 500 美元的 Scale 方案一年使用權。包括 Deepgram、AssemblyAI 及 LiveKit 託管的 Gemma 4 31B 在內的合作夥伴模型,可透過 LiveKit Inference 使用,無需另外開設供應商帳戶或 API 金鑰。該計畫針對員工少於 50 人、募資低於 500 萬美元,且正在產品中打造語音、視訊或實體 AI 的初創公司。
Vapi 將其語音 AI 高峰會以 VapiCon 2026 之名回歸,擴大為兩天、雙軌議程,於 2026 年 11 月 11 日至 12 日在舊金山 Fort Mason 舉行,面向 1,200+ 開發者與營運人員。已確認講者包括 Deepgram 的 Scott Stephenson、LangChain 的 Harrison Chase、Vercel 的 Guillermo Rauch、Twilio 的 Andy O'Dower、Cartesia 的 Brandon Yang,以及 Arize AI 的 Laurie Voss,另有 Vapi 的 Jordan Dearsley 與 Nikhil Gupta。議程將涵蓋語音對語音與串接式架構的對比、評估與可觀測性、亞秒級首字節延遲、人工接手,以及醫療與客服中心的生產部署。
LiveKit 說明,其語音代理中的「推論比即時更慢」警告指的是本機 VAD 模型,而非透過 LiveKit Inference 使用的 STT、TTS 或 LLM 模型。每個 32ms 的音訊視窗必須在 32ms 內處理完畢,而回報的延遲顯示 VAD 落後即時音訊的程度。事件迴圈受阻與 CPU 飽和是主因,解決方法是排除同步程式碼,而非增加執行緒。
語音信箱偵測(也稱答錄機偵測)會在大約三到五秒內判斷外撥電話是接通到真人還是錄音,依據的是時間與行為訊號,而非語音音訊。一篇 2026 年的 arXiv 預印本發現,單靠時間特徵就能達到與嗶聲及關鍵字方法相當的效果,同時避免它們額外增加的延遲。Vapi 讓使用者選擇偵測供應商、調整時間參數,並在真人接聽時切換回對話。
Vapi 已為 GPT-Live 開放限量私人測試,這是 OpenAI 的新一代全雙工語音轉語音模型,同時也開放公開候補名單供搶先體驗。GPT-Live 將語音轉文字、LLM 與語音這三個模組化流程整合進單一模型,藉此縮短輪次延遲並保留語氣與強調。測試團隊在與現有模組化代理相同的 Vapi 堆疊上運行它,模組化流程仍持續支援。
LiveKit 新增了非生產環境部署,可在與正式環境相同的容器映像、專案與密鑰下,以不同名稱執行語音代理,只需一個指令即可建立。每個部署閒置時會休眠且不產生費用,並在下一次請求時喚醒,你可以用 --deployment 旗標指定它。Python 需 livekit-agents 1.6+,Node 需 @livekit/agents 1.7.1+,方案在 Ship 提供 2 個部署、Scale 提供 5 個部署。
LiveKit 推出 Connectors,這是 LiveKit 房間與 Twilio Programmable Voice 及 WhatsApp Business Calling 之間的直接橋接,並計畫支援更多平台。每通電話都會以 CONNECTOR 參與者身分加入房間,並攜帶平台情境資訊,例如 Twilio 通話 SID 或 WhatsApp 來電者的電話號碼,而代理調度會在同一個 API 請求中完成。Connectors 已在 LiveKit Cloud 正式推出,採用 SIP 定價,Ship 方案為每分鐘 $0.004,Scale 方案為每分鐘 $0.003,Build、Ship 和 Scale 方案分別支援 5、20 和 100 路並行 connector 通話。
Vapi 推出重建版的 Campaigns,這是其批次外呼產品,現在運行於一個獨立於通話佇列之外的持久化工作流程引擎上。每個活動最多可容納 10,000 筆聯絡人,外加一個 assistant 或 squad 以及一個電話號碼,撥號僅限於設定的時間窗口內進行,assistant 提示中可帶入每位聯絡人的變數,並有一個撥號前的 webhook 可跳過已轉換的聯絡人。Vapi 表示,活動狀態會持久化於任何單一流程之外,並行處理以滑動窗口而非批次方式運行,且每次狀態變更都會附加一個不可變事件,因此進度和稽核軌跡不會偏離。
正在評估是否要自行打造語音代理的團隊,真正在決定的是要不要自建一層協調層,因為代理本身只佔約 20% 的工作量,其餘都是即時音訊、電話系統與可觀測性基礎設施。某家排程軟體廠商的六週展示,最後變成八個月的專案,之後才在六週內把這項功能遷移到平台上。只有在需要深度客製化管線、已有語音基礎設施、法規限制,或語音是核心競爭優勢時,自建才說得通。
LiveKit 的部落格解析了語音代理為何在「yes」或「ok」這類簡短回覆後經常陷入沉默,並將原因追溯至輪次偵測失敗。最常見的原因是 STT 供應商漏掉簡短語音,從未發出 final_transcript,導致話語結束偵測完全無法運作。文章也涵蓋過於激進或過於寬鬆的端點偵測延遲,以及將簡短音訊當作噪音丟棄的錯誤噪音消除設定。
LiveKit 已將代理工作階段分鐘數、錄音、WebRTC 連線與 SIP 連線改為按秒計費,最低以十秒為增量單位,適用於所有方案與帳戶,包括企業合約。此變更已上線,並將於九月的帳單中反映八月的用量,對客戶而言沒有技術上的變更。LiveKit 表示,按分鐘計費與僅持續數秒的短暫外撥通話不相符,限制了該使用情境。
Vapi 發布了一套七項標準的評分準則,用於評估客戶體驗中的 AI 語音代理,涵蓋解決率、即時語音品質、採取行動、升級轉接、模型靈活性、生命週期信任與平台控制。該指南主張,以 containment 與 deflection 計算成功率會高估成效,因為被 containment 的來電者可能只是掛斷電話;並引用 ContactBabel 數據顯示,偏好以電話進行複雜互動的比例從 2018 年的 28% 上升至 2024 年的 47%。Vapi 將自身定位為模型無關的平台層,具備可配置的端點偵測、打斷處理與背景降噪。
Vapi 推出 Simulations,這是一項原生 AI 驅動的測試功能,會在與語音代理通話的另一端放置具有鮮明個性、且情境取自客戶的 AI 測試員。每次執行都會回傳通過/失敗結果、完整逐字稿與錄音,團隊可以模擬 API 回應、執行低成本的純文字聊天模式或完整語音模式,並可透過 API 觸發執行,搭配品質閘門,在通過率下降時阻擋部署。
一份廠商中立指南列出為企業語音代理選擇對話式 AI 平台的五項標準:開發者控制權、模型選擇與備援、測試與可觀測性、完整的代理生命週期,以及大規模合規性。指南引用 Zapier 對 542 位美國 C 級高階主管的調查,其中 81% 擔心依賴特定 AI 廠商,僅 6% 能在不造成中斷的情況下捨棄其主要廠商。指南主張延遲與編排比功能清單更重要,並指出 AssemblyAI 的發現:超過 500–700 毫秒的延遲會讓人覺得不自然。
VapiCon 2026 是由 Vapi 主辦的語音 AI 高峰會,將於 11 月 11 日和 12 日在 Fort Mason 的 Festival Pavilion 擴大舉行為期兩天的活動,預計將有 1,200+ 名與會者、50+ 位講者和 20+ 家贊助商。首屆活動於 2025 年 10 月 2 日在舊金山舉行,吸引了超過 850 人參加,2026 年的門票現已開售。
Vapi 已聘請 Nathalie Criou 擔任產品副總裁,此前幾個月她剛加入這家語音 AI 新創公司。Criou 曾在 Google、VMware、Amazon、Twilio 和 Docker 擔任產品與綜合管理職務,並創辦並出售了新創公司 RidePal。她表示加入是因為語音是一個未被充分利用的渠道,而 AI 現在能夠對其進行變革,並引用客戶 Kavak 在六個月內圍繞語音進行重組的例子。
Vapi 主張,語音代理的評判標準在於五個即時維度:延遲、輪流發言、打斷處理、韻律,以及具韌性的管線。它引用研究指出,人類的輪流發言間隔接近 200 毫秒,並指出超過約 500–700 毫秒的延遲會顯得不自然,而樸素的循序管線可能耗費約 1.9 秒,優化後的管線則為 600–900 毫秒。Vapi 將其不綁定特定模型的管線定位為可透過模擬通話調校與測試。
Speechify 的 Simba 3.2 以 99 分登上 Vapi 人性化指數榜首,距離人類基準 100 分僅差一分;Fish Audio 的 S2.1-Pro 以 94 分進入榜單,首音延遲為 141 毫秒。先前領先的 xAI Grok TTS 僅以 95 分佔據榜首三週,而最高分此後已從 95 分升至 99 分。Vapi 主張,模型無關的語音平台讓團隊能在排名變動時更換 TTS 模型。
Vapi 公布了其與 Anthropic 合辦的語音 AI 網路研討會問答,詳細介紹了在 Vapi 上以 Anthropic 的 Claude Haiku 和 Layla v2 語音打造的即時叫車示範代理。該代理使用了五個工具——預估、預訂、查詢狀態、取消和結束通話——再加上智慧端點偵測和保守的中斷閾值,以達到亞秒級輪次。在 Vapi 上執行 Claude 的代理在過去 30 天內處理了近 500 萬通電話,涵蓋 50 多種語言。
AI 語音代理以兩種方式縮短客戶等待時間:透過自助服務分流、智慧路由、座席輔助與需求預測,把工作從佇列中移除;以及即時應答、無需等候。SQM Group 發現客戶平均在 2 分 36 秒時掛斷電話,而 ContactBabel 指出 2024 年英國平均放棄率為 8.4%。Vapi 表示,第一個語音代理可在數分鐘內從其儀表板建立完成,之後再以 ASA、放棄率與首次通話解決率來衡量。
Vapi 推出 Model Intelligence,這是一組協助開發者為語音代理挑選模型組合的功能。它包含四種模型預設(Balanced、High Intelligence、Ultra Fast、Cost Saver),各自捆綁了轉錄器、LLM 與語音,另外還提供取自超過 10 億通 Vapi 通話的逐模型成本、延遲與品質指標。
Vapi 的擬真度指數是一項盲測群眾外包排行榜,由聽眾從兩段克隆語音中選出哪一段聽起來更像真人。在超過 11,000 票之後,xAI 的 Grok TTS 獲 95 分,MiniMax Speech 2.5 獲 93 分,而真人錄音為 100 分。每場對決中,各模型都使用相同的克隆語音與腳本,且真人錄音也納入比較組,因此 95 分意味著聽眾在同一段引文上選擇 Grok TTS 的比例幾乎與選擇真人相同。Vapi 主張自然度已不再是語音代理的瓶頸,因為來電者實際體驗到的是聲音,而非其背後的推理能力。
Vapi 已任命 Jayson Noland 為財務長。Noland 在科技金融領域擁有超過十年的經驗,曾協助 Cloudflare 上市並推動其營收突破 10 億美元。他於 B 輪融資階段加入,負責建構財務職能,從可擴展的系統到資本配置,並將語音代理視為下一個主要的人機介面。
Vapi 正將其語音 AI 平台定位為品牌將客服中心從成本中心轉變為競爭優勢的途徑,並引用 Amazon Ring 的案例:該公司在評估超過 40 家語音 AI 供應商後,於兩週內在 Vapi 上線,如今 100% 的 inbound CX 流量都透過該平台處理,且 CSAT 分數有所提升。Vapi 主張,套裝語音解決方案會讓品牌受制於供應商控制的模型和通用語音,而從零開始建置則既慢又貴;該公司並強調其回應時間低於一秒、VPC 常駐架構具備零資料保留和 PII 清除功能,以及可在數天內上線的部署能力。
Vapi 公布了與 Spring Venture Group 合辦的網路研討會中,最常被問到的七個問題的解答。會中 Homer Kay 說明了 SVG 如何運用 Vapi 語音代理,在將來電者轉接給持照代理人之前,先對 Medicare 潛在客戶進行資格審核。這些解答涵蓋了外撥電話合規、API 優先的整合、獨立替換 STT、LLM 與 TTS 元件、轉接真人,以及符合 HIPAA 規範且採用零資料保留的設定。
語音 AI 的成功始於使用場景的選擇:以連結、程式碼或數字結尾的任務適合用聊天,而緊急、難以打字或情緒負載重的問題則適合用語音。聊天腳本必須為耳朵改寫——將長段落拆成單一概念的輪次,把收集到的細節(如日期)大聲複述,並將口頭選項限制在兩到三個。一家人力資源公司透過在收集每個時段時即時確認,將下游安置錯誤減少了 30%;另一個團隊則將開放式問題轉為選擇題,使平均通話時長縮短了 40 秒。
Vapi 打造了首頁上的 15 個語音代理——涵蓋 5 種語言的 3 個使用案例——做法是從單一 ROUGH_DRAFT.md 檔案生成,而非在儀表板中逐一手動編輯。這套四階段框架(規劃、草擬、啟動、強化)會搭建一個 TypeScript 專案,使用 temperature 設為 0.5 的 OpenAI gpt-4.1、ElevenLabs 與 Deepgram/Soniox 語音堆疊,以及一個冪等的 upsert 迴圈,將 assistant ID 存入 .env.local。該儲存庫已公開:複製它、加入 VAPI_PRIVATE_KEY,然後執行 bun run bootstrap。
Vapi 主張,語音 AI 如今能讓語音成為 ACCESS 慢性病管理中在經濟上可行的管道,並引用 Hiya 的數據指出,42% 的消費者偏好以語音進行醫療保健溝通,高於前一年的 33%。該文章詳細介紹了三套正式上線的工作流程,其中包括 Spring Venture Group 的聯邦醫療保險潛在客戶資格審核代理,該代理由四名工程師在一週內打造完成,將轉換成交率提升了 3%,並帶來超過 580 萬美元的合計節省與新增營收。
Vapi 宣布完成由 Peak XV 領投的 5000 萬美元 B 輪融資,YC、M12、Kleiner Perkins 及早期投資者參與,總融資額達到 7200 萬美元。此輪融資之前的一年裡,Vapi 的企業營收成長了 10 倍,其語音代理處理的通話量突破 1,000,000,000 次。Vapi 表示,Amazon Ring 在兩週內從評估階段轉為在其平台上運行 100% 的來電,且 CSAT 有所提升。
Vapi 團隊審查了數千個語音部署案例,歸納出五項特徵,可預測語音代理使用場景是否會成功:高通話量、重複且可預測的對話、明確的成功標準,以及另外兩項。缺少一項特徵尚可彌補,但缺少三項就意味著應探索其他使用場景。
OpenAI 發布了一份語音代理的即時提示指南,涵蓋 Realtime 2 推理、前置語、工具與精確實體擷取。該指南說明如何建構提示,讓即時語音代理在處理推理與工具使用的同時,精確擷取實體。
Vapi Blog 專訪 Cartesia 的 Iz Shalom,探討在整合式與開放模組化語音 AI 堆疊之間如何選擇。整合式堆疊適合範圍較窄的使用情境與快速的概念驗證,而開放式堆疊則適合多種使用情境、多語言支援,以及替換元件。文章呼籲團隊在自己的環境中測量 P99 延遲,並在進入生產環境前建立嚴謹的評估機制。
Vapi 發布 Vapi Monitoring,這是一款監控產品,讓團隊能為語音代理建立可自訂的監控器,並在觸及閾值時收到警示。它涵蓋 Enterprise 訂閱方案的有效性與合規性監控,以及技術與基礎架構監控,並呈現問題、受影響的通話數量與建議的修正方式。
Vapi 產品管理副總裁 Nathalie Criou 在 HumanX 座談會上與 Salesforce、Databricks 和 TinyFish 同台表示,AI 是放大而非取代領域專業與判斷力等基礎功。她說,Vapi 的平台建立在數百萬次真實世界的語音互動之上,能累積單次訓練無法複製的組織記憶。座談小組認為,搶先進入市場這類淺薄的護城河正在消退,而信任、轉換成本和獨特的互動資料則以更快的速度複利累積。
Vapi 的前置部署工程師表示,從示範到正式上線之間的落差,正是多數企業語音 AI 計畫停滯的地方,這需要大量測試、防護機制,以及以意圖為基礎的設計,而非精確片語比對。團隊警告會出現「人格漂移」,也就是代理會採用來電者的說話風格,並指出 LLM 具有非確定性,因此部署需要界定容錯範圍並持續迭代。他們建議從成本最佳化著手,但以創造營收為目標,並將良好的互動基準訂在不到一分鐘。
Vapi 發布強化安全模式,這是一層音訊隱私保護機制,該公司稱其為企業語音 AI 平台歷來部署過最安靜且最安全的方案,旨在防止 AI 代理的語音在開放空間中被旁人聽見。該公司表示,其整個音訊處理流程經過重新設計,能反轉訊號存在優化,且不會增加延遲失真。早期存取涵蓋醫療保健、福利管理與急性後期照護機構,該功能現已推出。
Vapi 舉辦了一場網路研討會,由首席產品經理 Nick Robin 示範 Composer,這是其產品內建的助理,可用於無程式碼建置語音代理,並在 30 分鐘的示範中產出一個可運作的來電客戶服務代理。Composer 會撰寫系統提示、配置電話號碼、設定排程,並標記自身的錯誤以供核准。它目前處於 alpha 階段,支援來電與去電助理、CRM 與行事曆整合,以及依助理 ID 編輯現有代理。