Vapi 测试 Jev 作为语音 AI 的实时护栏
Vapi 使用 TypeSafe AI 的早期访问“System One”模型 Jev 进行了早期实验,将其作为护栏,在语音助手的回复被说出之前,对其是否违反开发者定义的规则进行评分。在一项早期测试中,Jev 至少捕获了四分之三的违规回复,不过 Vapi 表示这并非 100% 的合规保证,而只是在提示护栏之上的一道额外检查。
Vapi 使用 TypeSafe AI 的早期访问“System One”模型 Jev 进行了早期实验,将其作为护栏,在语音助手的回复被说出之前,对其是否违反开发者定义的规则进行评分。在一项早期测试中,Jev 至少捕获了四分之三的违规回复,不过 Vapi 表示这并非 100% 的合规保证,而只是在提示护栏之上的一道额外检查。
本指南比较了 LiveKit Agents 和 Pipecat——它称这是构建生产级语音和视频 AI 智能体最重要的两个开源框架——从架构、采用情况、开发者体验和生产就绪度等方面进行对比。LiveKit Agents 运行在 LiveKit 的开源 WebRTC 和 SIP 基础设施上,并为你接好流水线;而 Pipecat 不预设传输层,由开发者逐阶段组装流水线。文中还介绍了 TEN Framework、Dograh、Vision Agents 和 Vocode 各自适合的位置。
Descript 于 2026 年 9 月 17 日发布的更新新增 18 种字幕预设和 10 种新文字动画,并在 145.0.15 或更高版本中支持将 AI 生成的背景音乐和音效直接放置到时间线上。结账页面现在以本地货币显示价格,并支持 Apple Pay、Google Pay、Cash App 等支付方式,语音选择器则接入了 ElevenLabs 语音库。
LiveKit 推出了一项创业计划,为符合条件的初创公司提供总价值约 23,000 美元的权益:来自七家合作伙伴的 7,000 美元推理额度、10,000 美元 LiveKit Cloud 额度,以及原价每月 500 美元的 Scale 计划一年使用权。包括 Deepgram、AssemblyAI 和 LiveKit 托管的 Gemma 4 31B 在内的合作伙伴模型可通过 LiveKit Inference 使用,无需单独的提供商账户或 API 密钥。该计划面向员工少于 50 人、融资额低于 500 万美元、正在将语音、视频或物理 AI 集成到产品中的初创公司。
Vapi 将其语音 AI 峰会带回,更名为 VapiCon 2026,于 2026 年 11 月 11 日至 12 日在旧金山 Fort Mason 扩展为两天、两个分会场,面向 1,200+ 开发者和运营者。已确认的演讲嘉宾包括 Deepgram 的 Scott Stephenson、LangChain 的 Harrison Chase、Vercel 的 Guillermo Rauch、Twilio 的 Andy O'Dower、Cartesia 的 Brandon Yang 和 Arize AI 的 Laurie Voss,以及 Vapi 的 Jordan Dearsley 和 Nikhil Gupta。会议将涵盖语音到语音与级联架构、评估与可观测性、亚秒级首字节时间、人工交接,以及医疗和联络中心的生产部署。
LiveKit 解释称,其语音代理中的“推理比实时更慢”警告指的是本地 VAD 模型,而非通过 LiveKit Inference 使用的 STT、TTS 或 LLM 模型。每个 32ms 的音频窗口必须在 32ms 内处理完毕,所报告的延迟显示 VAD 已落后实时音频多少。事件循环阻塞和 CPU 饱和是主要原因,解决办法是排除同步代码,而不是增加线程。
语音信箱检测(也称应答机检测)会在约三到五秒内判断外呼电话是接通了真人还是录音,其依据是时序和行为信号,而非语音音频。一篇2026年的arXiv预印本发现,仅凭时序特征就能达到基于提示音和关键词的方法的效果,同时避免后者带来的额外延迟。Vapi允许用户选择检测提供商、调整时序,并在真人接听时切回对话。
Vapi 已为 GPT-Live 开放有限私测,这是 OpenAI 的下一代全双工语音到语音模型,同时开放公开候补名单以供早期访问。GPT-Live 将语音转文本、LLM 和语音的模块化流水线替换为单一模型处理全部三项,降低轮次延迟并保留语气和重音。参与测试的团队在与现有模块化智能体相同的 Vapi 技术栈上运行它,模块化流水线仍受支持。
LiveKit 新增了非生产部署,可在与生产相同的容器镜像、项目和密钥下,以不同名称运行语音代理,只需一条命令即可创建。每个部署在空闲时休眠且不产生费用,并在下一次请求时唤醒,你可以通过 --deployment 标志指定它。它要求 Python 使用 livekit-agents 1.6+ 或 Node 使用 @livekit/agents 1.7.1+,并且计划在 Ship 上授予 2 个部署,在 Scale 上授予 5 个部署。
LiveKit 推出 Connectors,可在 LiveKit 房间与 Twilio Programmable Voice 和 WhatsApp Business Calling 之间直接桥接,并计划支持更多平台。每通电话都以 CONNECTOR 参与者身份加入房间,携带平台上下文,例如 Twilio 通话 SID 或 WhatsApp 来电者的电话号码,代理调度在同一 API 请求中完成。Connectors 已在 LiveKit Cloud 正式可用,按 SIP 定价:Ship 套餐每分钟 $0.004,Scale 套餐每分钟 $0.003;Build、Ship 和 Scale 套餐分别支持 5、20 和 100 路并发 connector 通话。
Vapi 推出了重建版 Campaigns,这是其批量外呼产品,现在运行在独立于呼叫队列的持久化工作流引擎上。每个 campaign 最多可容纳 10,000 个联系人,外加一个 assistant 或 squad 以及一个电话号码,拨号被限制在设定的时间窗口内,assistant 提示中可使用每个联系人的变量,并有一个拨号前 webhook 可跳过已转化的联系人。Vapi 表示,campaign 状态持久化在任何单一进程之外,并发以滑动窗口而非批次方式运行,每次状态变更都会追加一个不可变事件,因此进度和审计轨迹不会发生偏移。
正在权衡是否自建语音代理的团队,实际上是在决定是否要构建一个编排层,因为代理本身只占约20%的工作量,其余部分是实时音频、电话通信和可观测性基础设施。一家调度供应商原本六周的演示变成了八个月的项目,之后它用六周时间将该功能迁移到一个平台上。只有在需要深度定制流水线、已有语音基础设施、受监管约束,或将语音作为核心竞争优势时,自建才有意义。
LiveKit 的博客文章分析了语音智能体为何在收到“yes”或“ok”这类简短回复后常常陷入沉默,并将其归因于轮次检测失败。最常见的原因是 STT 提供商漏掉了短语音,从未输出 final_transcript,从而完全阻断了语音结束检测。文章还讨论了过于激进或过于宽松的端点检测延迟,以及将短音频当作噪声丢弃的噪声消除配置错误。
LiveKit 已将智能体会话分钟数、录制、WebRTC 连接和 SIP 连接改为按秒计费,最小计费单位为十秒,适用于所有套餐和账户,包括企业合同。该变更已生效,并将于 9 月账单中体现 8 月的用量,不会对客户造成技术层面的变化。LiveKit 表示,按分钟计费与仅持续数秒的短时外呼不匹配,限制了该用例。
Vapi发布了一套七项标准的评估准则,用于评估客户体验中的AI语音代理,涵盖解决率、实时语音质量、执行操作、升级转接、模型灵活性、生命周期信任和平台控制。该指南认为,遏制率和转移率会高估成功率,因为被遏制的来电者可能只是挂断了电话,并引用ContactBabel的数据显示,复杂交互中对电话的偏好从2018年的28%上升到2024年的47%。Vapi将自己定位为与模型无关的平台层,具有可配置的端点检测、中断处理和背景降噪功能。
Vapi 推出 Simulations,这是一项原生 AI 驱动的测试功能,在语音代理通话的另一端放置具有鲜明个性和源自客户场景的 AI 测试员。每次运行都会返回通过/失败结果、完整转录和录音,团队可以模拟 API 响应、运行低成本的纯文本聊天模式或完整语音模式,并通过 API 触发运行,同时设置质量门禁,在通过率下降时阻止部署。
一份供应商中立指南列出了为企业语音代理选择对话式AI平台的五项标准:开发者控制权、模型选择与回退、测试与可观测性、完整的代理生命周期,以及大规模合规性。该指南引用了Zapier对542名美国C级高管的调查,其中81%的人担心依赖特定AI供应商,只有6%的人能在不造成中断的情况下弃用其主要供应商。指南认为,延迟和编排比功能列表更重要,并指出AssemblyAI的发现:超过500–700毫秒的延迟会让人感觉不自然。
由 Vapi 主办的语音 AI 峰会 VapiCon 2026 扩展为两天,将于 11 月 11 日和 12 日在 Fort Mason 的 Festival Pavilion 举行,计划吸引 1,200+ 名参会者、50+ 位演讲嘉宾和 20+ 家赞助商。首届活动于 2025 年 10 月 2 日在旧金山举办,吸引了 850 多人参加,2026 年的门票现已开售。
Vapi 已聘请 Nathalie Criou 担任其产品副总裁,而就在几个月前,她才刚刚加入这家语音 AI 初创公司。Criou 此前曾在 Google、VMware、Amazon、Twilio 和 Docker 担任产品与综合管理职务,并创立并出售了初创公司 RidePal。她表示,自己之所以加入,是因为语音是一个尚未被充分利用的渠道,而 AI 如今能够改变这一现状;她以客户 Kavak 为例,称其在六个月内围绕语音进行了重组。
Vapi认为,语音智能体要在五个实时维度上接受评判:延迟、轮流对话、打断处理、韵律,以及一条有韧性的流水线。它引用研究指出,人类对话的轮次间隔接近200毫秒,并指出超过约500–700毫秒的延迟会让人感到不自然,而朴素的串行流水线可能耗时约1.9秒,优化后的流水线则为600–900毫秒。Vapi将其与模型无关的流水线定位为可通过模拟通话进行调优和测试。
Speechify 的 Simba 3.2 以 99 分首次登顶 Vapi 的 Humanness Index,距离人类基线 100 分仅差一分;Fish Audio 的 S2.1-Pro 以 94 分入榜,首音频延迟为 141 毫秒。此前领先的 xAI Grok TTS 仅以 95 分占据榜首三周,而领先分数已从 95 升至 99。Vapi 认为,与模型无关的语音平台让团队可以随着排名变化更换 TTS 模型。
Vapi 发布了其与 Anthropic 举办的语音 AI 网络研讨会的问答内容,详细介绍了基于 Vapi、使用 Anthropic 的 Claude Haiku 和 Layla v2 语音构建的实时叫车演示代理。该代理使用了五个工具——估价、预订、查询状态、取消和结束通话——并配合智能端点检测和保守的中断阈值,实现了亚秒级轮次。过去 30 天内,在 Vapi 上运行 Claude 的代理处理了近 500 万通电话,覆盖 50 多种语言。
AI语音代理通过两种方式缩短客户等待时间:一是通过自助服务分流、智能路由、坐席辅助和需求预测,将工作从队列中移除;二是即时接听,无需等待。SQM Group发现,客户平均在2分36秒时放弃通话,而ContactBabel指出,2024年英国的平均放弃率为8.4%。Vapi表示,首个语音代理可在几分钟内从其仪表板搭建完成,然后根据ASA、放弃率和首次呼叫解决率进行评估。
Vapi 推出了 Model Intelligence,这是一组帮助开发者语音智能体选择模型组合的功能。它包含四个模型预设(Balanced、High Intelligence、Ultra Fast、Cost Saver),每个预设打包了转写器、LLM 和语音,并提供基于超过 10 亿次 Vapi 调用得出的各模型成本、延迟和质量指标。
Vapi 的拟人度指数是一个盲测众包排行榜,听众从两个克隆语音中选出听起来更像真人的那个。在超过 11,000 次投票后,xAI 的 Grok TTS 得分为 95,MiniMax Speech 2.5 得分为 93,而真人录音的得分为 100。每场对比中,各模型都使用相同的克隆语音和脚本,真人录音也被纳入对比集合,因此 95 分意味着在同一段引文上,听众选择 Grok TTS 的比例几乎与选择真人录音的比例相同。Vapi 认为,自然度已不再是语音智能体的瓶颈,因为来电者体验到的是声音本身,而非其背后的推理能力。
Vapi 已任命 Jayson Noland 为首席财务官。Noland 在科技金融领域工作十余年,曾协助 Cloudflare 上市并推动其营收突破 10 亿美元。他在 B 轮融资阶段加入,负责从可扩展系统到资本配置的财务职能建设,并将语音智能体视为下一个重要的人机界面。
Vapi 正在推销其语音 AI 平台,称其能帮助品牌将联络中心从成本中心转变为竞争优势,并援引 Amazon Ring 为例:后者在评估了 40 多家语音 AI 供应商后,用两周时间在 Vapi 上线,现在 100% 的入站客户体验量都通过该平台处理,且 CSAT 评分有所提升。Vapi 认为,打包式语音解决方案会让品牌受制于供应商控制的模型和通用语音,而从零自建则速度慢、成本高;它宣称具备亚秒级响应时间、驻留 VPC 且零数据保留并清洗 PII 的架构,以及数天内即可上线的部署能力。
Vapi 发布了与 Spring Venture Group 合办网络研讨会中提问最多的七个问题的解答,会上 Homer Kay 介绍了 SVG 如何使用 Vapi 语音代理在将呼叫者转接给持证代理之前对 Medicare 线索进行资格筛选。解答涵盖外呼合规、API 优先集成、独立替换 STT、LLM 和 TTS 组件、人工转接,以及符合 HIPAA 要求且采用零数据保留的配置。
语音AI的成功始于用例选择:以链接、代码或数字结尾的任务适合聊天,而紧急、难以打字或情绪化的问题适合语音。聊天脚本必须为耳朵重写——将长段落拆分为单一想法的轮次,大声复述收集到的细节如日期,并将语音选项限制为两到三个。一家人力资源公司通过在每个时段收集时进行确认,将下游安置错误减少了30%,另一个团队通过将开放式问题转为选择题,将平均通话时长缩短了40秒。
Vapi 通过从单个 ROUGH_DRAFT.md 文件生成主页上的 15 个语音代理(3 个用例、5 种语言),而非在仪表盘中逐个手动编辑。这套四阶段框架(规划、起草、引导、加固)搭建了一个 TypeScript 项目,使用温度为 0.5 的 OpenAI gpt-4.1、ElevenLabs 和 Deepgram/Soniox 语音栈,以及一个幂等的 upsert 循环,将 assistant ID 存入 .env.local。该仓库已公开:克隆它,添加 VAPI_PRIVATE_KEY,然后运行 bun run bootstrap。
Vapi 认为,语音 AI 如今能让语音成为 ACCESS 慢病管理中在经济上可行的渠道,并引用 Hiya 的数据称,42% 的消费者偏好通过语音进行医疗沟通,高于上一年的 33%。该文章详述了三个生产工作流,其中包括 Spring Venture Group 的 Medicare 线索资格审核智能体,由四名工程师在一周内构建完成,将转接至成交率提升了 3%,并带来了超过 580 万美元的综合节省与新增收入。
Vapi 宣布完成由 Peak XV 领投的 5000 万美元 B 轮融资,YC、M12、Kleiner Perkins 及原有投资方参投,总融资额达到 7200 万美元。此前一年,Vapi 的企业收入增长了 10 倍,其语音智能体处理的通话量突破 1,000,000,000 次。Vapi 表示,Amazon Ring 在两周内从评估阶段转为将其 100% 的呼入电话运行在该平台上,且 CSAT 有所上升。
Vapi 团队审查了数千个语音部署案例,总结出五个能预测语音智能体用例能否成功的特征:高通话量、重复且可预测的对话、明确的成功标准,以及另外两项。缺少一个特征可以弥补,但缺少三个就意味着需要探索其他用例。
OpenAI 发布了面向语音智能体的实时提示指南,涵盖 Realtime 2 推理、前言、工具以及精确实体捕获。该指南说明了如何构建提示词,使实时语音智能体在处理推理和工具使用的同时精确捕获实体。
Vapi Blog 采访 Cartesia 的 Iz Shalom,讨论在集成式与开放模块化语音 AI 栈之间如何选择。集成栈适合窄用例和快速概念验证,开放栈适合多用例、多语言支持以及替换组件。文章敦促团队在自身环境中测量 P99 延迟,并在投产前建立严格的评估。
Vapi 发布了 Vapi Monitoring,这是一款监控产品,允许团队为语音代理创建可定制的监控器,并在达到阈值时收到告警。它为企业版订阅提供效果与合规监控,以及技术与基础设施监控,并展示问题所影响的通话数量及建议的修复方案。
Vapi 产品管理副总裁 Nathalie Criou 在 HumanX 的一场小组讨论中与 Salesforce、Databricks 和 TinyFish 同台表示,AI 是放大而非取代领域专业知识和判断力等基础要素。她表示,Vapi 的平台建立在数百万次真实世界语音交互之上,形成了单次训练运行无法复制的组织记忆。该小组认为,先发优势等浅层护城河正在被侵蚀,而信任、转换成本和独特交互数据的复利速度更快。
Vapi 的前置部署工程师表示,从演示到生产的差距是大多数企业语音 AI 项目停滞的地方,这需要大量测试、防护措施和基于意图的设计,而不是精确短语匹配。该团队警告会出现“人格漂移”,即智能体会采用来电者的说话风格,并指出 LLM 是非确定性的,因此部署需要定义错误容忍度并持续迭代。他们建议从成本优化入手,但以创收为目标,并将一次良好交互的基准定在一分钟以内。
Vapi 发布了增强安全模式,称这是企业语音 AI 平台有史以来部署的最安静、最安全的音频隐私层,旨在防止 AI 智能体的语音在开放空间中被他人听到。该公司表示,其整个音频管线经过重新设计,在不引入延迟伪影的情况下反转了信号存在优化。早期访问覆盖了医疗保健、福利管理和急性后期护理机构,该功能现已可用。
Vapi 举办了一场网络研讨会,首席产品经理 Nick Robin 在会上演示了 Composer——其产品内助手,无需编写代码即可构建语音智能体,并在 30 分钟的演示中生成了一个可用的呼入客服智能体。Composer 可编写系统提示词、配置电话号码、设置日程安排,并标记自身错误以供审批。它目前处于 alpha 阶段,支持呼入和呼出助手、CRM 与日历集成,以及通过助手 ID 编辑现有智能体。