Modal、Pipecat 与开源模型实现一秒语音到语音延迟

Modal 的 Ben Shababo 详细介绍了如何用开源 Pipecat 框架和开放权重模型在 Modal 上构建对话语音机器人，当客户端与容器地理位置接近时，语音到语音延迟中位数约为 1 秒。该流水线使用 NVIDIA parakeet-tdt-0.6b-v3 做 STT，用 vLLM 服务 Qwen3-4B-Instruct-2507，用 KokoroTTS 做语音输出，并用 ChromaDB 搭配 all-minilm-l6-v2 在 Modal 文档上做 RAG。Modal Tunnels 绕过输入平面，为 STT、TTS 和 vLLM 服务提供低延迟的 WebSocket 和 HTTP 连接；同时，与每个对话会话绑定的 FunctionCall 恢复了自动扩缩容能力，而将服务固定到附近区域则降低了网络延迟。