本指南比较了 LiveKit Agents 和 Pipecat——它称这是构建生产级语音和视频 AI 智能体最重要的两个开源框架——从架构、采用情况、开发者体验和生产就绪度等方面进行对比。LiveKit Agents 运行在 LiveKit 的开源 WebRTC 和 SIP 基础设施上，并为你接好流水线；而 Pipecat 不预设传输层，由开发者逐阶段组装流水线。文中还介绍了 TEN Framework、Dograh、Vision Agents 和 Vocode 各自适合的位置。
LiveKit 解释称，其语音代理中的“推理比实时更慢”警告指的是本地 VAD 模型，而非通过 LiveKit Inference 使用的 STT、TTS 或 LLM 模型。每个 32ms 的音频窗口必须在 32ms 内处理完毕，所报告的延迟显示 VAD 已落后实时音频多少。事件循环阻塞和 CPU 饱和是主要原因，解决办法是排除同步代码，而不是增加线程。
语音信箱检测（也称应答机检测）会在约三到五秒内判断外呼电话是接通了真人还是录音，其依据是时序和行为信号，而非语音音频。一篇2026年的arXiv预印本发现，仅凭时序特征就能达到基于提示音和关键词的方法的效果，同时避免后者带来的额外延迟。Vapi允许用户选择检测提供商、调整时序，并在真人接听时切回对话。
Botika 在 Modal 上运行其全栈生成式 AI 业务，涵盖 100 TB 的图像数据流水线、数十亿参数的自研基础模型，以及约 15 个用于生产推理的模型。该流水线在数千个并发容器上处理该数据集，错误率低于 1%，如今一名研究人员每天可运行 50 次实验，而过去只能运行一两次。
LiveKit 的博客文章分析了语音智能体为何在收到“yes”或“ok”这类简短回复后常常陷入沉默，并将其归因于轮次检测失败。最常见的原因是 STT 提供商漏掉了短语音，从未输出 final_transcript，从而完全阻断了语音结束检测。文章还讨论了过于激进或过于宽松的端点检测延迟，以及将短音频当作噪声丢弃的噪声消除配置错误。
Vapi发布了一套七项标准的评估准则，用于评估客户体验中的AI语音代理，涵盖解决率、实时语音质量、执行操作、升级转接、模型灵活性、生命周期信任和平台控制。该指南认为，遏制率和转移率会高估成功率，因为被遏制的来电者可能只是挂断了电话，并引用ContactBabel的数据显示，复杂交互中对电话的偏好从2018年的28%上升到2024年的47%。Vapi将自己定位为与模型无关的平台层，具有可配置的端点检测、中断处理和背景降噪功能。
LiveKit正在将其SFU架构扩展到单点对点链路之外，使机器人部署能够运行多参与者会话，其中Room让每个摄像头、模型、操作员或服务作为自己的参与者加入。LiveKit描述了三种架构：人在回路的数据记录，机器人、策略、操作员和记录器在同一会话中；VLM引导的技能编排，视觉语言模型以约1 Hz选择技能，而独立的策略参与者以数十赫兹控制机器人；以及策略升级，30 Hz或更高的奖励模型标记卡住或不安全状态，机器人撤销专家策略的权限。
一份供应商中立指南列出了为企业语音代理选择对话式AI平台的五项标准：开发者控制权、模型选择与回退、测试与可观测性、完整的代理生命周期，以及大规模合规性。该指南引用了Zapier对542名美国C级高管的调查，其中81%的人担心依赖特定AI供应商，只有6%的人能在不造成中断的情况下弃用其主要供应商。指南认为，延迟和编排比功能列表更重要，并指出AssemblyAI的发现：超过500–700毫秒的延迟会让人感觉不自然。
Vapi认为，语音智能体要在五个实时维度上接受评判：延迟、轮流对话、打断处理、韵律，以及一条有韧性的流水线。它引用研究指出，人类对话的轮次间隔接近200毫秒，并指出超过约500–700毫秒的延迟会让人感到不自然，而朴素的串行流水线可能耗时约1.9秒，优化后的流水线则为600–900毫秒。Vapi将其与模型无关的流水线定位为可通过模拟通话进行调优和测试。
Vapi 发布了其与 Anthropic 举办的语音 AI 网络研讨会的问答内容，详细介绍了基于 Vapi、使用 Anthropic 的 Claude Haiku 和 Layla v2 语音构建的实时叫车演示代理。该代理使用了五个工具——估价、预订、查询状态、取消和结束通话——并配合智能端点检测和保守的中断阈值，实现了亚秒级轮次。过去 30 天内，在 Vapi 上运行 Claude 的代理处理了近 500 万通电话，覆盖 50 多种语言。
AI语音代理通过两种方式缩短客户等待时间：一是通过自助服务分流、智能路由、坐席辅助和需求预测，将工作从队列中移除；二是即时接听，无需等待。SQM Group发现，客户平均在2分36秒时放弃通话，而ContactBabel指出，2024年英国的平均放弃率为8.4%。Vapi表示，首个语音代理可在几分钟内从其仪表板搭建完成，然后根据ASA、放弃率和首次呼叫解决率进行评估。
Kieran Klaassen 描述了他复合工程工作流中的最后一步“打磨”：他亲自运行应用，告诉智能体哪里感觉不对，直到问题消失。使用复合工程插件中的 /ce-polish 命令，他检出分支、启动开发服务器，并在编辑器中把运行中的应用打开在智能体旁边。他举了一个 Cora 邮件卡片动画的例子：该动画通过了所有自动化检查和审查智能体，但仍然从屏幕顶部滑入，而不是从点击位置展开。
Modal 发布了一个交互式工具，用于估算无服务器与预留 GPU 的成本，默认采用 B200 GPU 在 Modal 上以无服务器方式运行、以及通过三年期超大规模云厂商预留的当前费率。该模型显示，当应用的峰值与平均比超过预留折扣率时，无服务器 GPU 的总体成本更低，并且 Modal 提到观察到的折扣为 2-5 倍，而峰值与平均比为 5-10 倍。
Vapi 发布了与 Spring Venture Group 合办网络研讨会中提问最多的七个问题的解答，会上 Homer Kay 介绍了 SVG 如何使用 Vapi 语音代理在将呼叫者转接给持证代理之前对 Medicare 线索进行资格筛选。解答涵盖外呼合规、API 优先集成、独立替换 STT、LLM 和 TTS 组件、人工转接，以及符合 HIPAA 要求且采用零数据保留的配置。
语音AI的成功始于用例选择：以链接、代码或数字结尾的任务适合聊天，而紧急、难以打字或情绪化的问题适合语音。聊天脚本必须为耳朵重写——将长段落拆分为单一想法的轮次，大声复述收集到的细节如日期，并将语音选项限制为两到三个。一家人力资源公司通过在每个时段收集时进行确认，将下游安置错误减少了30%，另一个团队通过将开放式问题转为选择题，将平均通话时长缩短了40秒。
Vapi 通过从单个 ROUGH_DRAFT.md 文件生成主页上的 15 个语音代理（3 个用例、5 种语言），而非在仪表盘中逐个手动编辑。这套四阶段框架（规划、起草、引导、加固）搭建了一个 TypeScript 项目，使用温度为 0.5 的 OpenAI gpt-4.1、ElevenLabs 和 Deepgram/Soniox 语音栈，以及一个幂等的 upsert 循环，将 assistant ID 存入 .env.local。该仓库已公开：克隆它，添加 VAPI_PRIVATE_KEY，然后运行 bun run bootstrap。
Modal 为 FlashAttention-4 内核贡献了优化，以加速以解码为主的 LLM 推理工作负载，这类负载的瓶颈在于内存带宽。改动包括将“split KV”并行技术移植到 FA4，并用 cp.async 替换 TMA cp.async.bulk 加载以应对不规则内存访问。一个 FP8 输入 PR（2026 年 4 月 17 日合并）相比 bf16 基线带来最高 1.16 倍的吞吐量，并支持更小的 KV 缓存。
Modal 表示，LLM 强化学习后训练的瓶颈如今在于基础设施，而非算法，并发布了一个源自大规模运行强化学习实践的开源库。它详述了三个痛点——胶水代码、集群排队和 GPU 利用率不足——并报告称 RDMA 权重同步将 Qwen3 8B 的更新耗时从 2.62 秒缩短至 41 毫秒。
Every 正在调整其 Plus One 产品，使其 AI 智能体作为具有明确职责的共享团队资源运作，而非为每位员工配备一个个人助理。该公司表示，其基于 OpenClaw 构建的第一个版本带来的更多是挫败感而非效率，智能体经常无法遵循指令。下一个版本旨在更加稳定，技能和集成仍属于计划的一部分。
Modal 发布了一篇工程文章，讲述其如何将 AI 推理副本的启动时间从约 2,000 秒缩短至约 50 秒，所用四个组件为：空闲健康 GPU 缓冲池、名为 ImageFS 的惰性内容寻址文件系统、基于 gVisor runsc 的宿主机侧检查点/恢复，以及基于 Nvidia 驱动支持的 CUDA 检查点/恢复。在超过一万次冷启动中，对于约 1 GiB 的 bf16 Qwen 3 0.6B 模型，vLLM 平均启动延迟从 95,679 毫秒降至 13,797 毫秒，SGLang 从 83,713 毫秒降至 17,486 毫秒。文章也指出了局限，包括快照仅支持单 GPU，以及宿主机环境敏感性要求每次部署需准备多个快照。
Vapi 团队审查了数千个语音部署案例，总结出五个能预测语音智能体用例能否成功的特征：高通话量、重复且可预测的对话、明确的成功标准，以及另外两项。缺少一个特征可以弥补，但缺少三个就意味着需要探索其他用例。
OpenAI 发布了面向语音智能体的实时提示指南，涵盖 Realtime 2 推理、前言、工具以及精确实体捕获。该指南说明了如何构建提示词，使实时语音智能体在处理推理和工具使用的同时精确捕获实体。
Modal 在多模态工作负载上对 SGLang 的调度器进行了性能分析，并用一个简单的 Python 字典缓存替代了重复的 CUDA IPC 句柄记录工作，在 H100 上运行 Qwen2.5-VL-3B-Instruct 时，吞吐量提升了 16.2%，平均 TTFT 降低了 13.2%，TPOT 降低了 17.2%。该修复已合并到 SGLang v0.5.10 中。
Spiral 总经理 Marcus Moretti 使用 Claude Code 独自运营完整的产品工作，他表示这消除了产品管理中枯燥繁琐的部分，把原本分散在 10 个不同应用中的工作集中到单一聊天线程里。他唯一亲手撰写的产品文档是路线图，共起草了六个版本；每一份 PRD 和工单都由 Claude 撰写。
AE Studio 详细介绍了其如何在 Modal 上通过强化学习训练 LLM 证明数学定理，在保持训练循环固定的情况下对比了进化策略与 GRPO。该方案在 GPU 上运行 vLLM 推理，在隔离的 CPU 沙箱中运行 Lean 编译器验证，并配备轻量级编排器，使用按函数镜像、.map() 扇出以及 Volumes 存储基础权重。
OpenAI 发布了一份 API 部署清单，指导开发者将工作负载迁移到 Responses API 和 GPT-6 模型系列，包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。该指南涵盖从 low 到 max 的 reasoning.effort 级别、text.verbosity、带延迟工具加载的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 和 WebSocket 模式，OpenAI 表示对于包含 20 次或更多工具调用的工作流，WebSocket 模式已显示出端到端执行速度提升最高约 40%。清单还详述了可靠性与安全步骤，例如处理 429 和 503 错误、为长任务设置 background=True、safety_identifier 以及 misalignment 监控。
推荐理由：OpenAI 的官方部署清单将模型选择、推理力度、工具搜索、compaction 和 WebSocket 模式整合为一份针对 GPT-6 工作负载的迁移指南。
Modal 发布了一篇教程，介绍如何在 OpenAI 今日推出的 OpenAI Agents SDK 之上构建自定义编码智能体框架，使用 Modal Sandboxes 为智能体提供隔离的 Linux 环境和 GPU。该指南从一个最小的基于 exec 的智能体开始，随后加入用于记忆的会话、用于并行异步工作的编排器加子智能体池、GPU 配额、用于去重环境配置的文件系统快照，以及技能子系统，最终形成一个能在并行 GPU 子智能体上运行 OpenAI Parameter Golf 挑战的框架。Modal 引用了 Ramp 在 Modal 上运行的后台编码智能体集群，称其目前产出该公司超过一半的 PR。
Vapi 的前置部署工程师表示，从演示到生产的差距是大多数企业语音 AI 项目停滞的地方，这需要大量测试、防护措施和基于意图的设计，而不是精确短语匹配。该团队警告会出现“人格漂移”，即智能体会采用来电者的说话风格，并指出 LLM 是非确定性的，因此部署需要定义错误容忍度并持续迭代。他们建议从成本优化入手，但以创收为目标，并将一次良好交互的基准定在一分钟以内。
Doppel 将其大部分机器学习工作流迁移到了 Modal，消除了拖慢训练实验和推理部署的基础设施摩擦。通过 map() 实现的并行实验取代了串行运行，而镜像层缓存和持久卷将构建时间最多缩短了 10 倍，复杂配置的预热构建时间更是缩短至一分钟以内。
OpenAI 更新了其 Sora 2 提示指南，以涵盖新的 API 能力：可复用的角色参考（适用于物体和动物）、1920×1080 和 1080×1920 导出、最大片段长度从 12 秒提升至 20 秒、使用完整原始片段作为上下文的视频延长，以及用于异步视频任务的 Batch API。该指南还详细介绍了镜头取景、摄像机运动、灯光和对话的提示结构，并指出分辨率、时长和角色 ID 必须作为 API 参数设置，而不是在文本描述中说明。支持最长 20 秒的延长，且一个视频最多可延长 6 次，总计 120 秒。
推荐理由：OpenAI 更新的 Sora 2 提示指南详细介绍了新的 API 能力，如角色参考、20 秒片段和视频延长，以及用于控制镜头的可复用提示模板。
OpenAI 发布了一份 Codex 提示指南，面向通过 API 直接调用经 Codex 调优的 gpt-5.3-codex 模型的开发者，建议交互式编码使用中等推理强度，最难的任务使用高或 xhigh。该指南涵盖将现有 harness 迁移到开源 codex-cli，包括标准 Codex-Max 提示、apply_patch、shell_command 和 update_plan 工具，以及通过 Responses API 中的 /compact 为多小时的会话提供一流的压缩功能。它还介绍了新的 phase 字段，该字段仅在 gpt-5.3-codex 上受支持，用于将助手条目标记为 commentary 或 final_answer，且必须在历史记录中保留以避免性能下降。
推荐理由：OpenAI 的官方指南详细说明了如何为 gpt-5.3-codex 调整提示、工具和压缩，为团队提供了针对自身编码智能体的具体迁移路径。
OpenClaw 智能体现在可以通过 Vapi 兼容 AgentSkills 的技能拨打和接听电话，借助 npx skills CLI 或直接向智能体提出请求，约五分钟即可完成安装。Vapi 的处理流程目标是将语音响应控制在 500 毫秒以内，并支持通话中调用工具，共有八项技能，涵盖助手、通话、电话号码、工具、小队、webhook 和工作流。
Ramp 构建了 Ramp Inspect，这是一个运行在 Modal Sandboxes 上的内部后台编码代理，如今 Ramp 前端和后端仓库中约有一半已合并的拉取请求由它发起。每个会话都能在几秒内启动包含 Postgres、Redis、Temporal 和 RabbitMQ 的全栈环境，因为一个 Modal 定时任务每 30 分钟克隆仓库并保存文件系统快照。Modal Functions、Dicts 和 Queues 负责处理快照构建、会话锁和提示路由，使 Inspect 能够支持多人会话和数百个并发会话，且彼此互不影响。
Modal 已将其多云 GPU 工作池扩展到超过 20,000 块并发 GPU，并在过去几年中启动了超过四百万个云实例，现在正分享其背后的可靠性系统。该文章涵盖实例类型测试与选择、机器镜像准备与启动检查、被动与主动 GPU 健康检查，以及可观测性与支持。文章报告了超大规模云厂商之间的差异，例如云 A 的启动成功率为 99.6%，而云 C 的 H100 在 2025 年运行温度超过 90ºC。
Reducto 将其 30 多个文档处理模型的推理工作负载迁移到 Modal，使 P90 延迟降低了 3 倍。GPU 内存快照将冷启动减少了 83%，从约 70 秒降至约 12 秒，而按客户划分的自动扩缩容池可隔离流量峰值。在一次负载测试中，Reducto 在不到一小时内将摄取流水线扩展到 1,000 多块 GPU，以展示每分钟 10 万页的处理能力。
Modal 的博客解释了主机开销——即 GPU 空闲等待 CPU 准备工作的时间间隙——如何在 AI 推理中表现为 GPU 内核利用率低下。当主机开销达到 50% 时，GPU 推理成本是原本的 2 倍。文章详细介绍了生产级开源推理引擎中采用的修复方法，包括在设备上构建张量而非传输张量，以及减少不必要的 CUDA 内核启动。
Decagon 与 Modal 合作构建了 Decagon Voice 2.0，将延迟降低 65%，同时提升了意图识别和响应质量。Decagon 通过 SFT 和 RL 微调紧凑的开源模型，使其超越更大的前沿模型；Modal 则训练了自定义 EAGLE3 草稿模型，接受长度提高 38%，并重新设计了 SGLang，加入异步投机解码调度器，将吞吐量提升最高 12%。
Modal 的 Ben Shababo 详细介绍了如何用开源 Pipecat 框架和开放权重模型在 Modal 上构建对话语音机器人，当客户端与容器地理位置接近时，语音到语音延迟中位数约为 1 秒。该流水线使用 NVIDIA parakeet-tdt-0.6b-v3 做 STT，用 vLLM 服务 Qwen3-4B-Instruct-2507，用 KokoroTTS 做语音输出，并用 ChromaDB 搭配 all-minilm-l6-v2 在 Modal 文档上做 RAG。Modal Tunnels 绕过输入平面，为 STT、TTS 和 vLLM 服务提供低延迟的 WebSocket 和 HTTP 连接；同时，与每个对话会话绑定的 FunctionCall 恢复了自动扩缩容能力，而将服务固定到附近区域则降低了网络延迟。
Modal工程师阅读了已发布的Flash Attention 4源代码，逆向解析了这个针对Blackwell优化的注意力内核的工作原理，因为目前尚无官方技术报告。文章追踪了一个tile在内核的warp特化异步流水线中的流转过程，并详述了两个数学技巧：一个可替代基于SFU的指数运算的三次多项式软件指数，以及一个更聪明的在线softmax重缩放规则——Tri Dao称其将修正次数减少了10倍。据报道，FA4比Nvidia闭源的cudnn注意力内核快约20%，而在撰写本文时反向版本尚不可用。
推荐理由：Modal工程师阅读了已发布的Flash Attention 4源代码，解释了其warp特化流水线和两个数学技巧，提供了一个关于CUDA内核设计走向的可迁移视角。
Modal 详细介绍了 Modal Notebooks 背后的工程实现：这款云端 Jupyter notebook 能在数秒内启动 GPU 和自定义镜像，并支持实时协作。内核运行在 Modal Sandboxes 内，由一个 modal-kernelshim 守护进程将 Jupyter ZeroMQ 消息转换为通过 Modal 控制平面隧道的 HTTP 调用。一个惰性加载的 Rust FUSE 容器文件系统通过分层缓存按需获取文件内容，从而避免了镜像解包延迟——对于 8 GB 的 Python/ML 镜像，该延迟可能接近一分钟。