Modal、Pipecat 與開源模型實現一秒語音對語音延遲

Modal 的 Ben Shababo 示範如何在 Modal 上以開源 Pipecat 框架與開放權重模型打造對話語音機器人，當客戶端與容器地理位置相近時，語音對語音延遲中位數約為一秒。此管線使用 NVIDIA parakeet-tdt-0.6b-v3 進行 STT、以 vLLM 服務的 Qwen3-4B-Instruct-2507、KokoroTTS 產生語音輸出，並以 ChromaDB 搭配 all-minilm-l6-v2 對 Modal 文件進行 RAG。Modal Tunnels 繞過輸入平面，為 STT、TTS 與 vLLM 服務提供低延遲的 WebSocket 與 HTTP 連結，而綁定於每個對話工作階段的 FunctionCall 則恢復自動擴縮能力，將服務固定於鄰近區域可降低網路延遲。