本指南比較 LiveKit Agents 與 Pipecat 這兩個它認為對打造生產級語音與視訊 AI 代理最重要的開源框架，涵蓋架構、採用情況、開發者體驗與生產就緒度。LiveKit Agents 運行於 LiveKit 的開源 WebRTC 與 SIP 基礎設施上，並為你串接好管線；Pipecat 則不預設傳輸方式，由開發者逐階段組裝管線。文中也說明 TEN Framework、Dograh、Vision Agents 與 Vocode 各自的位置。
LiveKit 說明，其語音代理中的「推論比即時更慢」警告指的是本機 VAD 模型，而非透過 LiveKit Inference 使用的 STT、TTS 或 LLM 模型。每個 32ms 的音訊視窗必須在 32ms 內處理完畢，而回報的延遲顯示 VAD 落後即時音訊的程度。事件迴圈受阻與 CPU 飽和是主因，解決方法是排除同步程式碼，而非增加執行緒。
語音信箱偵測（也稱答錄機偵測）會在大約三到五秒內判斷外撥電話是接通到真人還是錄音，依據的是時間與行為訊號，而非語音音訊。一篇 2026 年的 arXiv 預印本發現，單靠時間特徵就能達到與嗶聲及關鍵字方法相當的效果，同時避免它們額外增加的延遲。Vapi 讓使用者選擇偵測供應商、調整時間參數，並在真人接聽時切換回對話。
Botika 在 Modal 上運行其全端生成式 AI 業務，涵蓋 100 TB 的影像資料管線、數十億參數的自研基礎模型，以及約 15 個模型提供生產環境推論。該管線在數千個並行容器上處理該資料集，錯誤率低於 1%，而單一研究人員現在每天可執行 50 次實驗，而非過去的一到兩次。
LiveKit 的部落格解析了語音代理為何在「yes」或「ok」這類簡短回覆後經常陷入沉默，並將原因追溯至輪次偵測失敗。最常見的原因是 STT 供應商漏掉簡短語音，從未發出 final_transcript，導致話語結束偵測完全無法運作。文章也涵蓋過於激進或過於寬鬆的端點偵測延遲，以及將簡短音訊當作噪音丟棄的錯誤噪音消除設定。
Vapi 發布了一套七項標準的評分準則，用於評估客戶體驗中的 AI 語音代理，涵蓋解決率、即時語音品質、採取行動、升級轉接、模型靈活性、生命週期信任與平台控制。該指南主張，以 containment 與 deflection 計算成功率會高估成效，因為被 containment 的來電者可能只是掛斷電話；並引用 ContactBabel 數據顯示，偏好以電話進行複雜互動的比例從 2018 年的 28% 上升至 2024 年的 47%。Vapi 將自身定位為模型無關的平台層，具備可配置的端點偵測、打斷處理與背景降噪。
LiveKit 正將其 SFU 架構擴展到單一對等連線之外，讓機器人部署能執行多參與者工作階段，其中一個 Room 可讓每台攝影機、模型、操作員或服務各自作為獨立的參與者加入。LiveKit 描述了三種架構：人在迴路中的資料錄製，機器人、策略、操作員與錄製器同處一個工作階段；VLM 引導的技能編排，由視覺語言模型以約 1 Hz 選擇技能，而各別策略參與者以數十赫茲控制機器人；以及策略升級，由 30 Hz 或更高頻率的獎勵模型標記卡住或不安全的狀態，機器人則撤銷專家策略的權限。
一份廠商中立指南列出為企業語音代理選擇對話式 AI 平台的五項標準：開發者控制權、模型選擇與備援、測試與可觀測性、完整的代理生命週期，以及大規模合規性。指南引用 Zapier 對 542 位美國 C 級高階主管的調查，其中 81% 擔心依賴特定 AI 廠商，僅 6% 能在不造成中斷的情況下捨棄其主要廠商。指南主張延遲與編排比功能清單更重要，並指出 AssemblyAI 的發現：超過 500–700 毫秒的延遲會讓人覺得不自然。
Vapi 主張，語音代理的評判標準在於五個即時維度：延遲、輪流發言、打斷處理、韻律，以及具韌性的管線。它引用研究指出，人類的輪流發言間隔接近 200 毫秒，並指出超過約 500–700 毫秒的延遲會顯得不自然，而樸素的循序管線可能耗費約 1.9 秒，優化後的管線則為 600–900 毫秒。Vapi 將其不綁定特定模型的管線定位為可透過模擬通話調校與測試。
Vapi 公布了其與 Anthropic 合辦的語音 AI 網路研討會問答，詳細介紹了在 Vapi 上以 Anthropic 的 Claude Haiku 和 Layla v2 語音打造的即時叫車示範代理。該代理使用了五個工具——預估、預訂、查詢狀態、取消和結束通話——再加上智慧端點偵測和保守的中斷閾值，以達到亞秒級輪次。在 Vapi 上執行 Claude 的代理在過去 30 天內處理了近 500 萬通電話，涵蓋 50 多種語言。
AI 語音代理以兩種方式縮短客戶等待時間：透過自助服務分流、智慧路由、座席輔助與需求預測，把工作從佇列中移除；以及即時應答、無需等候。SQM Group 發現客戶平均在 2 分 36 秒時掛斷電話，而 ContactBabel 指出 2024 年英國平均放棄率為 8.4%。Vapi 表示，第一個語音代理可在數分鐘內從其儀表板建立完成，之後再以 ASA、放棄率與首次通話解決率來衡量。
Kieran Klaassen 描述「打磨」（polish），這是他複合工程工作流程的最後一步：他親自執行應用程式，並告訴 agent 哪裡感覺不對，直到不再不對為止。他使用複合工程外掛的 /ce-polish 指令，簽出分支、啟動開發伺服器，並在編輯器中把執行中的應用程式開在 agent 旁邊。他舉了一個 Cora 電子郵件卡片動畫為例：它通過了所有自動化檢查與審查 agent，卻仍然是從螢幕頂端滑入，而不是從點擊處展開。
Modal 發布了一款互動式工具，用於估算無伺服器與預留 GPU 的成本，預設採用目前 B200 GPU 在 Modal 上以無伺服器方式運行，以及透過三年期超大規模雲端服務商預留的費率。該模型顯示，當應用程式的峰值與平均值比率超過預留折扣率時，無伺服器 GPU 的整體成本更低，而 Modal 引用觀察到的折扣為 2-5 倍，對應峰值與平均值比率為 5-10 倍。
Vapi 公布了與 Spring Venture Group 合辦的網路研討會中，最常被問到的七個問題的解答。會中 Homer Kay 說明了 SVG 如何運用 Vapi 語音代理，在將來電者轉接給持照代理人之前，先對 Medicare 潛在客戶進行資格審核。這些解答涵蓋了外撥電話合規、API 優先的整合、獨立替換 STT、LLM 與 TTS 元件、轉接真人，以及符合 HIPAA 規範且採用零資料保留的設定。
語音 AI 的成功始於使用場景的選擇：以連結、程式碼或數字結尾的任務適合用聊天，而緊急、難以打字或情緒負載重的問題則適合用語音。聊天腳本必須為耳朵改寫——將長段落拆成單一概念的輪次，把收集到的細節（如日期）大聲複述，並將口頭選項限制在兩到三個。一家人力資源公司透過在收集每個時段時即時確認，將下游安置錯誤減少了 30%；另一個團隊則將開放式問題轉為選擇題，使平均通話時長縮短了 40 秒。
Vapi 打造了首頁上的 15 個語音代理——涵蓋 5 種語言的 3 個使用案例——做法是從單一 ROUGH_DRAFT.md 檔案生成，而非在儀表板中逐一手動編輯。這套四階段框架（規劃、草擬、啟動、強化）會搭建一個 TypeScript 專案，使用 temperature 設為 0.5 的 OpenAI gpt-4.1、ElevenLabs 與 Deepgram/Soniox 語音堆疊，以及一個冪等的 upsert 迴圈，將 assistant ID 存入 .env.local。該儲存庫已公開：複製它、加入 VAPI_PRIVATE_KEY，然後執行 bun run bootstrap。
Modal 為 FlashAttention-4 核心貢獻了多項最佳化，以加速以解碼為主的 LLM 推論工作負載，這類工作負載的瓶頸在於記憶體頻寬。這些變更包括將「split KV」平行化技術移植到 FA4，並以 cp.async 取代 TMA cp.async.bulk 載入，以處理不規則的記憶體存取。一個 FP8 輸入 PR（於 2026 年 4 月 17 日合併）相較於 bf16 基準可提供最高 1.16 倍的吞吐量，並可啟用更小的 KV 快取。
Modal 表示，LLM 強化學習後訓練的瓶頸如今在於基礎設施，而非演算法，並發布了一個源自大規模執行強化學習經驗的開源函式庫。文中詳述三個痛點——膠水程式碼、叢集排隊與 GPU 使用率不足——並回報 RDMA 權重同步將 Qwen3 8B 的更新時間從 2.62 秒縮短至 41 毫秒。
Every 正在調整其 Plus One 產品，讓旗下 AI 代理成為具有明確職責的團隊共享資源，而非每位員工各有一個個人助理。該公司表示，第一版建構於 OpenClaw 之上，帶來的挫折多於效率，代理經常未能遵循指示。下一版旨在更穩定，技能與整合仍在規劃之中。
Modal 發表了一篇工程文章，說明他們如何將 AI 推論副本的啟動時間從約 2,000 秒縮短到約 50 秒，方法包含四個元件：閒置健康 GPU 的緩衝池、名為 ImageFS 的延遲內容定址檔案系統、透過 gVisor 的 runsc 進行主機端檢查點/還原，以及建構在 Nvidia 驅動程式支援上的 CUDA 檢查點/還原。在超過一萬次冷啟動中，對於 bf16 格式的約 1 GiB Qwen 3 0.6B 模型，vLLM 的平均啟動延遲從 95,679 毫秒降至 13,797 毫秒，SGLang 則從 83,713 毫秒降至 17,486 毫秒。文章也指出了一些限制，包括快照僅支援單一 GPU，以及主機環境的敏感性要求每次部署需準備多個快照。
Vapi 團隊審查了數千個語音部署案例，歸納出五項特徵，可預測語音代理使用場景是否會成功：高通話量、重複且可預測的對話、明確的成功標準，以及另外兩項。缺少一項特徵尚可彌補，但缺少三項就意味著應探索其他使用場景。
OpenAI 發布了一份語音代理的即時提示指南，涵蓋 Realtime 2 推理、前置語、工具與精確實體擷取。該指南說明如何建構提示，讓即時語音代理在處理推理與工具使用的同時，精確擷取實體。
Modal 對 SGLang 的排程器在多模態工作負載上進行了效能剖析，並以簡單的 Python 字典快取取代重複的 CUDA IPC handle 記錄作業，在 H100 上執行 Qwen2.5-VL-3B-Instruct 時，吞吐量提升 16.2%，平均 TTFT 降低 13.2%，TPOT 降低 17.2%。此修正已合併至 SGLang v0.5.10。
Spiral 總經理 Marcus Moretti 靠 Claude Code 獨力營運整個產品，他表示這消除了產品管理中枯燥乏味的工作，把原本分散在 10 個不同應用程式的工作集中到單一對話串中。他自己唯一親手撰寫的產品文件是路線圖，前後改了六個版本；每一份 PRD 和工單都由 Claude 撰寫。
AE Studio 詳細說明如何在 Modal 上以強化學習訓練大型語言模型證明數學定理，在保持訓練迴圈固定的前提下比較演化策略與 GRPO。此設置在 GPU 上執行 vLLM 推論、於隔離的 CPU 沙箱中進行 Lean 編譯器驗證，並搭配輕量級協調器，使用逐函式映像、.map() 扇出，以及 Volumes 來存放基礎權重。
OpenAI 發布了一份 API 部署檢查清單，引導開發者將工作負載遷移到 Responses API 與 GPT-6 模型系列，包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。該指南涵蓋從 low 到 max 的 reasoning.effort 等級、text.verbosity、搭配延遲工具載入的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 以及 WebSocket 模式；OpenAI 表示，對於工具呼叫達 20 次以上的工作流程，WebSocket 模式已展現出端到端執行速度最高約提升 40%。指南也詳細說明可靠性與安全步驟，例如處理 429 與 503 錯誤、以 background=True 處理長時間任務、safety_identifier 以及 misalignment 監控。
推薦理由：OpenAI 的官方部署檢查清單將模型選擇、推理強度、工具搜尋、compaction 與 WebSocket 模式整合為一份 GPT-6 工作負載的遷移指南。
Modal 發布了一篇教學，說明如何在 OpenAI 今日推出的 OpenAI Agents SDK 之上打造自訂的編碼代理框架，並使用 Modal Sandboxes 為代理提供隔離的 Linux 環境與 GPU。該指南從一個以 exec 為基礎的最小代理開始，接著加入用於記憶的 session、用於平行非同步工作的協調器與子代理池、GPU 配額、用來去重複設定流程的檔案系統快照，以及技能子系統，最後完成一個能在平行 GPU 子代理上執行 OpenAI Parameter Golf 挑戰的框架。Modal 引用了 Ramp 在 Modal 上運行的背景編碼代理艦隊，並表示該艦隊目前產出該公司超過一半的 PR。
Vapi 的前置部署工程師表示，從示範到正式上線之間的落差，正是多數企業語音 AI 計畫停滯的地方，這需要大量測試、防護機制，以及以意圖為基礎的設計，而非精確片語比對。團隊警告會出現「人格漂移」，也就是代理會採用來電者的說話風格，並指出 LLM 具有非確定性，因此部署需要界定容錯範圍並持續迭代。他們建議從成本最佳化著手，但以創造營收為目標，並將良好的互動基準訂在不到一分鐘。
Doppel 將其大部分 ML 工作流程遷移至 Modal，消除了拖慢訓練實驗與推論部署的基礎設施摩擦。透過 map() 進行的平行實驗取代了循序執行，而映像層快取與持久性磁碟區將建置時間縮短多達 10 倍，複雜設定更能達到一分鐘內的暖建置。
OpenAI 更新了 Sora 2 提示指南，涵蓋新的 API 功能：可重複使用的物件與動物角色參考、1920×1080 與 1080×1920 匯出、最長片段長度從 12 秒提高到 20 秒、以完整原始片段作為脈絡的影片延長，以及用於非同步影片任務的 Batch API。該指南也說明鏡頭取景、攝影機運動、光線與對話的提示結構，並指出解析度、時長與角色 ID 必須設為 API 參數，而非以文字描述。支援最多 20 秒的延長，且一支影片最多可延長 6 次，總計 120 秒。
推薦理由：OpenAI 更新的 Sora 2 提示指南詳述了角色參考、20 秒片段與影片延長等新 API 功能，以及可用於控制鏡頭的可重複使用提示範本。
OpenAI 發布了一份 Codex 提示詞指南，供開發者透過 API 直接呼叫針對 Codex 調校的 gpt-5.3-codex 模型，建議互動式編碼採用中等推理強度，最困難的任務則採用高或 xhigh。該指南涵蓋將現有測試框架遷移至開源 codex-cli，包括標準 Codex-Max 提示詞、apply_patch、shell_command 與 update_plan 工具，以及透過 Responses API 中的 /compact 對多小時工作階段進行一等公民級壓縮。指南亦說明了新的 phase 欄位，僅支援於 gpt-5.3-codex，會將助理項目標記為 commentary 或 final_answer，且必須保留於歷史記錄中以避免效能下降。
推薦理由：OpenAI 的官方指南詳細說明如何為 gpt-5.3-codex 調整提示詞、工具與壓縮，為團隊提供具體的遷移路徑來建構自家的編碼代理。
OpenClaw 代理現在可透過 Vapi 相容於 AgentSkills 的技能撥打和接聽電話，只需約五分鐘，即可透過 npx skills CLI 安裝，或直接請代理代為安裝。Vapi 管線的目標是低於 500ms 的語音回應，並支援通話中呼叫工具，共有八項技能，涵蓋助理、通話、電話號碼、工具、小隊、webhook 與工作流程。
Ramp 打造了 Ramp Inspect，一個在 Modal Sandboxes 上運行的內部背景編碼代理，如今 Ramp 前端與後端儲存庫中約有一半已合併的拉取請求由它發起。每個工作階段都能在數秒內啟動包含 Postgres、Redis、Temporal 與 RabbitMQ 的全端環境，因為一個 Modal cron 作業每 30 分鐘會複製儲存庫並儲存檔案系統快照。Modal Functions、Dicts 與 Queues 負責處理快照建置、工作階段鎖定與提示路由，讓 Inspect 得以支援多人工作階段與數百個並行工作階段，且彼此互不影響。
Modal 已將其多雲 GPU 工作池擴展至超過 20,000 張並行 GPU，並在過去幾年中啟動了超過四百萬個雲端執行個體，現在正分享其背後的可靠性系統。文章涵蓋執行個體類型測試與選擇、機器映像準備與開機檢查、被動與主動 GPU 健康檢查，以及可觀測性與支援。文中報告了超大規模雲端供應商之間的差異，例如 Cloud A 的 99.6% 開機成功率，以及 Cloud C 的 H100 在 2025 年運行溫度超過 90ºC。
Reducto 將其 30 多個文件處理模型的推論工作負載遷移至 Modal，使 P90 延遲降低 3 倍。GPU 記憶體快照將冷啟動時間減少 83%，從約 70 秒降至約 12 秒，而各客戶專屬的自動擴展資源池則隔離了流量尖峰。在一次負載測試中，Reducto 在不到一小時內將其擷取管線擴展至超過 1,000 個 GPU，以展示每分鐘 10 萬頁的處理能力。
Modal 的部落格說明主機端開銷——GPU 閒置等待 CPU 準備工作的空檔——如何在 AI 推論中以低 GPU 核心利用率的形式顯現。在主機端開銷達 50% 時，GPU 推論成本是原本可能的兩倍。文章詳細介紹了生產環境開源推論引擎中採用的修正措施，包括在裝置上建構張量而非傳輸張量，以及減少不必要的 CUDA 核心啟動。
Decagon 與 Modal 合作打造 Decagon Voice 2.0，將延遲降低 65%，同時提升意圖辨識與回應品質。Decagon 透過 SFT 與 RL 微調緊湊的開源模型，超越更大的前沿模型；Modal 則訓練了自訂的 EAGLE3 草稿模型，接受長度提高 38%，並以非同步推測解碼排程器重新設計 SGLang，將吞吐量提升最高達 12%。
Modal 的 Ben Shababo 示範如何在 Modal 上以開源 Pipecat 框架與開放權重模型打造對話語音機器人，當客戶端與容器地理位置相近時，語音對語音延遲中位數約為一秒。此管線使用 NVIDIA parakeet-tdt-0.6b-v3 進行 STT、以 vLLM 服務的 Qwen3-4B-Instruct-2507、KokoroTTS 產生語音輸出，並以 ChromaDB 搭配 all-minilm-l6-v2 對 Modal 文件進行 RAG。Modal Tunnels 繞過輸入平面，為 STT、TTS 與 vLLM 服務提供低延遲的 WebSocket 與 HTTP 連結，而綁定於每個對話工作階段的 FunctionCall 則恢復自動擴縮能力，將服務固定於鄰近區域可降低網路延遲。
Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼，逆向解析這個針對 Blackwell 最佳化的注意力核心如何運作，因為目前尚無官方技術報告。這篇文章追蹤一個 tile 如何流經該核心的 warp 特化非同步管線，並詳述兩個數學技巧：一個可取代基於 SFU 之指數運算的三次多項式軟體指數，以及一個更聰明的線上 softmax 重新縮放規則，Tri Dao 表示這能將修正次數減少 10 倍。據報導，FA4 比 Nvidia 的閉源 cudnn 注意力核心快約 20%，而撰文時尚無反向版本可用。
推薦理由：Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼，解釋其 warp 特化管線與兩個數學技巧，提供了一個可轉移的視角，說明 CUDA 核心設計的發展方向。
Modal 詳細介紹了 Modal Notebooks 背後的工程設計，這是其雲端 Jupyter notebook，能在數秒內啟動 GPU 與自訂映像，並支援即時協作。核心（kernel）在 Modal Sandboxes 內執行，並由一個 modal-kernelshim 常駐程式將 Jupyter ZeroMQ 訊息轉譯為 HTTP 呼叫，再透過 Modal 的控制平面進行通道傳輸。一個延遲載入的 Rust FUSE 容器檔案系統透過分層快取按需取得檔案內容，避免了映像解包延遲——對於 8 GB 的 Python/ML 映像，該延遲可能接近一分鐘。