Vapi 产品副总裁:对于差异化 AI 产品,基础比以往任何时候都更重要
Vapi 产品管理副总裁 Nathalie Criou 在 HumanX 的一场小组讨论中与 Salesforce、Databricks 和 TinyFish 同台表示,AI 是放大而非取代领域专业知识和判断力等基础要素。她表示,Vapi 的平台建立在数百万次真实世界语音交互之上,形成了单次训练运行无法复制的组织记忆。该小组认为,先发优势等浅层护城河正在被侵蚀,而信任、转换成本和独特交互数据的复利速度更快。
Vapi 产品管理副总裁 Nathalie Criou 在 HumanX 的一场小组讨论中与 Salesforce、Databricks 和 TinyFish 同台表示,AI 是放大而非取代领域专业知识和判断力等基础要素。她表示,Vapi 的平台建立在数百万次真实世界语音交互之上,形成了单次训练运行无法复制的组织记忆。该小组认为,先发优势等浅层护城河正在被侵蚀,而信任、转换成本和独特交互数据的复利速度更快。
Vapi 的前置部署工程师表示,从演示到生产的差距是大多数企业语音 AI 项目停滞的地方,这需要大量测试、防护措施和基于意图的设计,而不是精确短语匹配。该团队警告会出现“人格漂移”,即智能体会采用来电者的说话风格,并指出 LLM 是非确定性的,因此部署需要定义错误容忍度并持续迭代。他们建议从成本优化入手,但以创收为目标,并将一次良好交互的基准定在一分钟以内。
Vapi 发布了增强安全模式,称这是企业语音 AI 平台有史以来部署的最安静、最安全的音频隐私层,旨在防止 AI 智能体的语音在开放空间中被他人听到。该公司表示,其整个音频管线经过重新设计,在不引入延迟伪影的情况下反转了信号存在优化。早期访问覆盖了医疗保健、福利管理和急性后期护理机构,该功能现已可用。
Vapi 举办了一场网络研讨会,首席产品经理 Nick Robin 在会上演示了 Composer——其产品内助手,无需编写代码即可构建语音智能体,并在 30 分钟的演示中生成了一个可用的呼入客服智能体。Composer 可编写系统提示词、配置电话号码、设置日程安排,并标记自身错误以供审批。它目前处于 alpha 阶段,支持呼入和呼出助手、CRM 与日历集成,以及通过助手 ID 编辑现有智能体。
Vapi 发布了 Composer,这是一款内置于 Vapi Dashboard 的 AI 助手,可根据描述构建语音代理,撰写提示词、配置设置、开通电话号码、构建工具并设置集成。Composer 还可以调取通话日志来解释失败的通话并应用修复,以及生成在 Vapi 基础设施上运行的自定义代码工具,用于 HubSpot 等集成。它现已以 Alpha 版本提供,无需设置或引导流程。
Vapi 发布了 Vapi Voices Beta,这是一系列专为高并发、成本敏感的语音 AI 用例构建的语音模型,定价为每分钟 0.0025 美元,延迟针对对话响应性进行了优化。这些模型出现在现有的语音下拉菜单中,与 ElevenLabs、PlayHT 和 Deepgram 等提供商并列,因此团队可以将预约提醒和路由菜单等高并发、低风险流程路由到这些模型,而无需任何集成更改。Vapi 表示,正式可用性取决于 beta 使用所揭示的用例、真实负载下的延迟以及节省是否重要。
Vapi 现已为所有语音 AI 助手支持结构化输出,确保每通电话返回的数据都符合开发者定义的 JSON schema。Schema 在运行时借助 OpenAI、Anthropic、Gemini 等厂商的原生能力强制执行,并可在多个助手之间复用。提取的数据会通过通话完成 webhook 和 REST API 送达。
OpenAI 的 GPT-5.1 新增了一致的个性预设——Default、Professional、Friendly、Candid、Quirky、Efficient、Nerdy 和 Cynical——以及更具对话感的 GPT-5.1 Instant 和快速自适应推理,让简单问题得到快速回复,而复杂问题则获得更多思考。Vapi 表示,该模型已于上周随 OpenAI 的发布在其平台上线,使语音智能体无需重写提示词即可采用与品牌一致的语调。
Decagon 与 Modal 合作构建了 Decagon Voice 2.0,将延迟降低 65%,同时提升了意图识别和响应质量。Decagon 通过 SFT 和 RL 微调紧凑的开源模型,使其超越更大的前沿模型;Modal 则训练了自定义 EAGLE3 草稿模型,接受长度提高 38%,并重新设计了 SGLang,加入异步投机解码调度器,将吞吐量提升最高 12%。
Vapi 创始人回顾了公司如何举办 VapiCon——号称首届语音 AI 峰会,吸引了 850 名参会者,并让来自 OpenAI、Deepgram 和 Assembly AI 的语音 AI 领袖齐聚一堂。Vapi 在该活动上花费约 50 万美元,收回约 40 万美元,创始人称真正的回报是合作关系和企业交易。公司现已推出 VapiCon 视频库,收录所有会议和小组讨论。
Modal 的 Ben Shababo 详细介绍了如何用开源 Pipecat 框架和开放权重模型在 Modal 上构建对话语音机器人,当客户端与容器地理位置接近时,语音到语音延迟中位数约为 1 秒。该流水线使用 NVIDIA parakeet-tdt-0.6b-v3 做 STT,用 vLLM 服务 Qwen3-4B-Instruct-2507,用 KokoroTTS 做语音输出,并用 ChromaDB 搭配 all-minilm-l6-v2 在 Modal 文档上做 RAG。Modal Tunnels 绕过输入平面,为 STT、TTS 和 vLLM 服务提供低延迟的 WebSocket 和 HTTP 连接;同时,与每个对话会话绑定的 FunctionCall 恢复了自动扩缩容能力,而将服务固定到附近区域则降低了网络延迟。
从 10 月 28 日到 11 月 2 日,Vapi 通过其托管 API 密钥,向社区免费开放 Cartesia 新推出的 Sonic-3 TTS 模型的无限制访问。Sonic-3 新增了情绪和笑声标签、细粒度的语速和音量控制,并支持 27 种新语言。Vapi 建议从 Kira 和 Ariana 语音开始,以获得低延迟、听起来自然的智能体。
Zencastr 将其播客转录工作负载迁移到 Modal 的 GPU 平台,在几分钟内扩展到 1,500 个并发 GPU,仅用几天时间就处理了数百年的音频。从自管理的 Kubernetes GPU 节点转向 Modal 的缩容到零基础设施,降低了空闲 GPU 成本,并消除了驱动程序和依赖管理的开销。所有核心 ML 工作负载现在都在 Modal 上运行,包括转录、说话人计数、笑声检测和音频质量评分。
Modal 在其平台上使用 NVIDIA 的 parakeet-tdt-0.6b-v2 和 canary-1b-flash 实现了批量转录服务,报告称其端到端性能比一个流行的专有 ASR API 快 100 倍以上或便宜 100 倍,同时在约一周的 ESB 基准音频上错误率与之相当。团队将这一提升归因于跨请求批次打乱文件、在 GPU 批次内按音频时长排序、并行下载,以及根据经验选择的 GPU 和 worker 配置。文章详细介绍了架构和优化步骤,以便他人构建类似服务。
Vapi 现在允许用户通过上传包含电话号码和自定义变量的 CSV 文件来发起外呼活动,然后分配一个助手或工作流来执行。Vapi 负责排队、执行和记录,通话状态可在仪表板中查看。活动需要使用已验证的电话号码,不能使用 Vapi 号码。
Mistral 和 Llama 3 在语音 AI 的设计理念上存在分歧:Mistral 的 7B 到 Mistral Small 3.1(24B)模型偏向低延迟效率,而 Llama 3 从 8B 扩展到 70B,以获得更强的推理能力和多语言覆盖。Mistral Small 3.1 的首 token 时间达到 0.29 秒,速度为每秒 150-166 个 token;Mistral Small 24B 在 ARC-C、GPQA 和 MMLU 上优于 Llama 3.1 8B Instruct;而 Llama 3.1 405B 在 MMLU 上得分 85.2%,在 GSM8K 上得分 96.8%。
Vapi 现在提供八家语音转文本提供商——Gladia、AssemblyAI、Deepgram、Cartesia、Talkscriber、OpenAI、Speechmatics 和 ElevenLabs——作为语音代理中 Azure 的即插即用替代方案。切换提供商只需更改一个 JSON 参数,让开发者能够对延迟、成本和合规性进行基准测试。Gladia 声称端到端延迟低于 100 毫秒,AssemblyAI 在一次 API 调用中捆绑了摘要和 PII 脱敏功能,而 Cartesia 完全在本地运行。
一份指南概述了房地产经纪人使用AI的五种方式,包括基于Vapi构建的语音代理,可全天候接听电话、筛选潜在客户并预约看房。指南还涵盖使用ChatGPT和Canva自动化内容创作,以及HouseCanary和CoreLogic等AI定价工具,这些工具能生成带有置信度评分的估值。
Deepgram 的 Nova-3 将流式词错误率从 Nova-2 的 8.4% 降至 6.84%,批处理 WER 达到 5.26%,流式错误减少 54.3%。Nova-3 用单一可适配网络取代了 Nova-2 各自独立的领域专用模型,并新增实时多语言对话处理、无需重新训练即可自助添加最多 100 个自定义术语,以及最多 50 个实体的脱敏功能。两款模型均在 Vapi 上原生运行且端点相同,因此切换只需更改参数,不过 Nova-3 属于 Deepgram 的高端定价层级。
Vapi 比较了 GPT-4.1 和 Claude 3.7 Sonnet 作为语音代理背后的 LLM,权衡了对话质量、上下文处理、推理透明度、平台集成和成本。GPT-4.1 提供 1,000,000 token 上下文窗口和 32,768 token 输出,并享有 75% 缓存折扣,而 Claude 3.7 提供 200,000 token 上下文和 128,000 token 输出。两款模型均可在 Vapi 的语音代理平台上选择。
ElevenLabs Flash v2.5 的首音频延迟为 75ms,而 OpenAI 为 200ms;OpenAI 每百万字符收费 15 美元,而 ElevenLabs 提供每月 5 至 1,320 美元的套餐。ElevenLabs 提供 3,000 多种声音并支持克隆,词准确率为 82%,而 OpenAI 提供 11 种固定声音,准确率为 77%。这两家 TTS 提供商都已集成到 Vapi 中,可直接测试。
Vapi概述了物流领域的三个语音AI用例:ShipEX在350辆卡车上使用语音智能来路由维护警报和事故报告;爱达荷州酒类管理局的语音拣选系统将拣选率提高了35%;维护技术人员通过语音记录问题,自动创建CMMS工单。文章还详细介绍了与TMS、CRM和WMS系统的API集成以及部署注意事项。
Vapi 现在提供 11 个内置文本转语音模型作为 ElevenLabs 的替代方案,包括 Neuphonic 的 Neu-hq 和 Neu-fast、Cartesia 的 Sonic 系列、Azure TTS、OpenAI TTS、Deepgram、Smallest AI 的 Lightning、LMNT、PlayHT、Hume 的 Octave 以及 Rime AI 的 Mist v2。开发者可以在几分钟内切换这些模型,无需重新编码,Vapi 表示其通过这些模型每天处理超过一百万次语音通话。
对五款 Speechify 替代品的对比显示:NaturalReader 因跨设备使用和应用集成而胜出,每年 119 美元;Voice Dream Reader 因 iPhone 语音控制而胜出,一次性价格 14.99 美元;Murf AI 因专业语音而胜出,每月约 19 美元起。ReadSpeaker 专注于跨 45 种语言朗读网页,每月 4.90 美元起;Balabolka 则是仅限 Windows 的免费选项。
Vapi 介绍了如何在四款 Gemini 模型中为语音智能体做选择:Gemini 1.0 Pro 适合可预测、符合合规要求的流程,输入每百万 token 0.50 美元、输出每百万 token 2.00 美元;Gemini 1.5 Flash 适合高吞吐量工作,上下文窗口为 100 万 token;Gemini 1.5 Pro 适合深度推理,上下文窗口为 200 万 token,长上下文检索准确率达 99.7%;Gemini 2.0 Flash 支持原生工具调用。
SRTP 通过为每个媒体数据包添加加密载荷、认证标签和主密钥标识符来保护 RTP 语音和视频流。它主要依赖 AES 计数器模式和 HMAC-SHA1 认证标签,用序列号阻止重放攻击,并与 DTLS-SRTP 或 SDES 配合进行密钥交换。SRTP 被定位为实时通信中开销较低的应用层选项,GDPR、HIPAA 和 CPRA 被列为合规驱动因素。
一份关于在语音 AI 项目中使用 .env 文件与环境配置的指南,涵盖 Node.js 与 Python 的 dotenv 设置、将 .env 加入 .gitignore,以及 VAPI_API_KEY 和 VAPI_PROJECT_ID 等 Vapi 专用密钥。文中引用 GitGuardian 的发现:2023 年 GitHub 上泄露了 1280 万个密钥,同比增长 28%,并建议按环境拆分 env 文件,同时使用 git-crypt、SOPS、AWS Secrets Manager 和 HashiCorp Vault 等工具。
Vapi 博客的一篇汇总列出了五个用于语音集成的 Character AI 替代方案:Vapi、AnimaAI、JasperAI、Novel AI 和 AI Dungeon。Vapi 被宣传为原生 API 的 Voice AI 平台,支持 100 多种语言,可连接 40 多个应用,配备由 Sesame 驱动的语音代理以及用于捕捉幻觉的自动化测试套件。
Amazon Lex 适合已在使用 AWS、需要与 Amazon 服务紧密集成的团队,而 Dialogflow 提供更广泛的语言支持,对新手来说学习曲线也更平缓。Lex 采用 Alexa 的技术,按使用量付费,第一年每月包含 10,000 次文本请求和 5,000 次语音请求的免费额度;Dialogflow 支持 30 多种语言,并提供预构建代理和情感分析。
Narakeet 可将书面文稿转换为逼真的配音,提供 70 多种语言的 600 多种声音,并支持 140 多种语言和方言。该平台可将旁白与 PowerPoint、Google Slides 和 Markdown 文件同步,生成字幕和说明文字,并提供支持批处理的开发者 API。套餐起价约为每月 5 美元,并提供免费套餐。
一份指南对 10 个用于临床的开源语音转文字模型进行了排名,评估维度包括实时准确率、临床术语处理、运行可靠性和数据安全。榜单涵盖 Vosk、DeepSpeech、SpeechBrain、OpenAI Whisper 和 ESPnet,并分别匹配到低资源农村诊所、多语言医院和术语密集型研究中心等场景。所有模型均可集成到 Vapi 的模型无关语音 AI 平台。
Vapi 现已支持短信,使其语音 AI 智能体能够在通话过程中收发文本消息。智能体可以实时回复收到的短信,在对话中途从语音切换到文本,并运行完全基于文本的流程;短信目前仅支持 Twilio。
Vapi 发布了 Vapi MCP Server,让 AI 智能体工具通过函数调用触发实时语音流程和外呼。它支持 Claude Desktop 集成以及通过 SSE 进行远程访问,因此用户可以用自然语言让 Claude 拨打电话或安排跟进。该服务器可通过 @vapi-ai/mcp-server 获取,支持本地运行或通过托管的 SSE 端点访问。
GSD at Work 的顾问 Christian Ulstrup 使用 Vapi 语音 AI 代理,为其 AI Action Sessions 工作坊打造了一套异步语音接待系统,取代了原先预约的探索电话。参与者可在方便时拨打专用的 Vapi 电话线,转录文本和 AI 生成的摘要通过 Zapier 流入 Slack,并记录在 HubSpot 中。在最近一位客户的项目中,来自全球的 20 位参与者贡献了超过 3 小时的探索内容,该场次获得了 5 分(满分 5 分)的评价。
AI呼叫中心正在重塑客户支持:常规来电可在数秒内解决,而无需长时间等待,例如一次故障查询在30秒内得到处理。Gartner估计,到2027年约25%的客户服务交互将涉及AI,高于2022年的2%;到2027-2028年,该市场规模将达150-200亿美元,复合年增长率约为25-30%。文章涵盖传统呼叫中心的痛点,如响应速度慢、高峰时段话务激增和营业时间有限,以及AI自动化如何应对这些问题。