Modal 如何利用评估和推理时计算扩展生成可扫描的 QArt 码
Modal 利用评估和推理时计算扩展来改进其 QArt 码系统,将二维码扫描率提升至其 95% 的服务水平目标,同时改善美学质量,并在 p95 下于 20 秒内返回二维码。这项工作遵循标准的机器学习流程:收集人类判断、与之对齐,然后扩展,解决了“在我的提示上有效”的差距,该差距导致许多生成的二维码无法扫描。
Modal 利用评估和推理时计算扩展来改进其 QArt 码系统,将二维码扫描率提升至其 95% 的服务水平目标,同时改善美学质量,并在 p95 下于 20 秒内返回二维码。这项工作遵循标准的机器学习流程:收集人类判断、与之对齐,然后扩展,解决了“在我的提示上有效”的差距,该差距导致许多生成的二维码无法扫描。
Quora 使用 Modal Sandboxes 在其 AI 聊天机器人平台 Poe 中安全执行 LLM 生成的代码,该功能比自研方案提前数月上线。团队对 Sandbox 创建吞吐量进行了压力测试,达到每秒 1000 个沙箱,并报告节省了相当于 2 名工程师的持续基础设施维护时间。
Vapi 现在允许用户通过上传包含电话号码和自定义变量的 CSV 文件来发起外呼活动,然后分配一个助手或工作流来执行。Vapi 负责排队、执行和记录,通话状态可在仪表板中查看。活动需要使用已验证的电话号码,不能使用 Vapi 号码。
Mistral 和 Llama 3 在语音 AI 的设计理念上存在分歧:Mistral 的 7B 到 Mistral Small 3.1(24B)模型偏向低延迟效率,而 Llama 3 从 8B 扩展到 70B,以获得更强的推理能力和多语言覆盖。Mistral Small 3.1 的首 token 时间达到 0.29 秒,速度为每秒 150-166 个 token;Mistral Small 24B 在 ARC-C、GPQA 和 MMLU 上优于 Llama 3.1 8B Instruct;而 Llama 3.1 405B 在 MMLU 上得分 85.2%,在 GSM8K 上得分 96.8%。
Vapi 现在提供八家语音转文本提供商——Gladia、AssemblyAI、Deepgram、Cartesia、Talkscriber、OpenAI、Speechmatics 和 ElevenLabs——作为语音代理中 Azure 的即插即用替代方案。切换提供商只需更改一个 JSON 参数,让开发者能够对延迟、成本和合规性进行基准测试。Gladia 声称端到端延迟低于 100 毫秒,AssemblyAI 在一次 API 调用中捆绑了摘要和 PII 脱敏功能,而 Cartesia 完全在本地运行。
Google 的 Gemini 2.5 Flash 和 2.5 Pro 主要区别在于速度与推理深度,两者均提供 100 万 token 上下文窗口,并原生支持在 Vapi 中用于语音代理。Flash 在每秒 163 token 的速度下,0.21–0.37 秒返回首个 token,输入/输出每百万 token 费用为 $0.15/$0.60;而 Pro 费用为 $1.25/$10,并增加了 Deep Think 模式,计划提供 200 万 token 窗口。
Modal 的工程师们介绍了如何让 Black Forest Labs 的 FLUX.1-dev 作为自动扩缩容服务运行,速度提升约三倍,将 1024x1024 图像的生成时间从约 6.75 秒缩短到 3 秒以内。标准优化手段,即启用 max-autotune 的 Torch 编译器、融合 QKV 注意力和 channels-last 内存布局,带来了约 1.5 倍的提升;而基于 TEACache 论文、来自 ParaAttention 仓库的 First Block Caching 在阈值 0.12 下又额外带来了 2 倍的提升。编译缓存和 Modal Memory Snapshots 将冷启动延迟降低了 30 倍。
从对话质量、上下文记忆、速度、功能、创意写作、研究、定价和界面等方面对 Claude 和 ChatGPT 进行了比较。Claude 为 Pro 用户处理高达 200,000+ tokens,擅长创意写作和细腻对话;ChatGPT 支持 128,000 tokens,响应时间为 2-3 秒,而 Claude 为 5-10 秒,并提供图像生成和 Custom GPTs。两个 Pro 档位均为每月 20 美元,Claude Max 为 100-200 美元,ChatGPT Pro 为 200 美元。
一份指南概述了房地产经纪人使用AI的五种方式,包括基于Vapi构建的语音代理,可全天候接听电话、筛选潜在客户并预约看房。指南还涵盖使用ChatGPT和Canva自动化内容创作,以及HouseCanary和CoreLogic等AI定价工具,这些工具能生成带有置信度评分的估值。
Deepgram 的 Nova-3 将流式词错误率从 Nova-2 的 8.4% 降至 6.84%,批处理 WER 达到 5.26%,流式错误减少 54.3%。Nova-3 用单一可适配网络取代了 Nova-2 各自独立的领域专用模型,并新增实时多语言对话处理、无需重新训练即可自助添加最多 100 个自定义术语,以及最多 50 个实体的脱敏功能。两款模型均在 Vapi 上原生运行且端点相同,因此切换只需更改参数,不过 Nova-3 属于 Deepgram 的高端定价层级。
Modal 已推出其 Python SDK 客户端的 1.0 版本,公司称这一里程碑为其无服务器云计算平台带来了新的成熟度和稳定性,预计未来破坏性变更将大幅减少。该版本移除了诸如自动挂载本地包之类的“魔法”行为,将核心功能拆分到独立的装饰器中(如新增的 @modal.concurrent),并将本地文件处理统一归入 modal.Image 类。Modal 还计划推出其他语言的 SDK,并正在探索该平台应如何服务于 AI 驱动的智能体工作流。
Vapi 比较了 GPT-4.1 和 Claude 3.7 Sonnet 作为语音代理背后的 LLM,权衡了对话质量、上下文处理、推理透明度、平台集成和成本。GPT-4.1 提供 1,000,000 token 上下文窗口和 32,768 token 输出,并享有 75% 缓存折扣,而 Claude 3.7 提供 200,000 token 上下文和 128,000 token 输出。两款模型均可在 Vapi 的语音代理平台上选择。
ElevenLabs Flash v2.5 的首音频延迟为 75ms,而 OpenAI 为 200ms;OpenAI 每百万字符收费 15 美元,而 ElevenLabs 提供每月 5 至 1,320 美元的套餐。ElevenLabs 提供 3,000 多种声音并支持克隆,词准确率为 82%,而 OpenAI 提供 11 种固定声音,准确率为 77%。这两家 TTS 提供商都已集成到 Vapi 中,可直接测试。
Vapi概述了物流领域的三个语音AI用例:ShipEX在350辆卡车上使用语音智能来路由维护警报和事故报告;爱达荷州酒类管理局的语音拣选系统将拣选率提高了35%;维护技术人员通过语音记录问题,自动创建CMMS工单。文章还详细介绍了与TMS、CRM和WMS系统的API集成以及部署注意事项。
Vapi 现在提供 11 个内置文本转语音模型作为 ElevenLabs 的替代方案,包括 Neuphonic 的 Neu-hq 和 Neu-fast、Cartesia 的 Sonic 系列、Azure TTS、OpenAI TTS、Deepgram、Smallest AI 的 Lightning、LMNT、PlayHT、Hume 的 Octave 以及 Rime AI 的 Mist v2。开发者可以在几分钟内切换这些模型,无需重新编码,Vapi 表示其通过这些模型每天处理超过一百万次语音通话。
Modal 现向所有账户持有人提供 Nvidia B200 和 H200 GPU,无需联系销售或申请配额,价格分别为每小时 6.25 美元和 4.54 美元。B200 配备 180 GB HBM3e 显存和 8 TB/s 带宽;在 Modal 的 vLLM 测试中,以 8 位精度运行 DeepSeek V3 时,在每秒 1 个请求下,8 块 B200 将首 token 中位时间较 8 块 H200 缩短了 2.5 倍。
对五款 Speechify 替代品的对比显示:NaturalReader 因跨设备使用和应用集成而胜出,每年 119 美元;Voice Dream Reader 因 iPhone 语音控制而胜出,一次性价格 14.99 美元;Murf AI 因专业语音而胜出,每月约 19 美元起。ReadSpeaker 专注于跨 45 种语言朗读网页,每月 4.90 美元起;Balabolka 则是仅限 Windows 的免费选项。
Vapi 介绍了如何在四款 Gemini 模型中为语音智能体做选择:Gemini 1.0 Pro 适合可预测、符合合规要求的流程,输入每百万 token 0.50 美元、输出每百万 token 2.00 美元;Gemini 1.5 Flash 适合高吞吐量工作,上下文窗口为 100 万 token;Gemini 1.5 Pro 适合深度推理,上下文窗口为 200 万 token,长上下文检索准确率达 99.7%;Gemini 2.0 Flash 支持原生工具调用。
Modal 宣布,用于开发、测试和部署数据管道的数据编排工具 Twirl 将加入该公司。Twirl 联合创始人 Rebecka Storm 和 Eric Hansander 将加入 Modal 的斯德哥尔摩办公室,在那里开发并扩展 Modal 的无服务器基础设施,并拓展其欧洲业务版图。Modal 表示,该团队的数据产品经验将帮助其从 AI 推理扩展到相邻的 AI、ML 和数据用例。
DeepSeek V3 每秒处理的 token 数量比 R1 多 47%,每百万输出 token 收费 0.28 美元;R1 每百万输出 token 收费 2.19 美元,并会为更难的任务运行内部推理循环。R1 在 MATH-500 上得分 97.3%,在 AIME 2024 上得分 79.8%;V3 则分别为 90.2% 和 39.2%。多数团队将 80-90% 的简单查询交给 V3,把复杂推理工作交给 R1。
SRTP 通过为每个媒体数据包添加加密载荷、认证标签和主密钥标识符来保护 RTP 语音和视频流。它主要依赖 AES 计数器模式和 HMAC-SHA1 认证标签,用序列号阻止重放攻击,并与 DTLS-SRTP 或 SDES 配合进行密钥交换。SRTP 被定位为实时通信中开销较低的应用层选项,GDPR、HIPAA 和 CPRA 被列为合规驱动因素。
一份关于在语音 AI 项目中使用 .env 文件与环境配置的指南,涵盖 Node.js 与 Python 的 dotenv 设置、将 .env 加入 .gitignore,以及 VAPI_API_KEY 和 VAPI_PROJECT_ID 等 Vapi 专用密钥。文中引用 GitGuardian 的发现:2023 年 GitHub 上泄露了 1280 万个密钥,同比增长 28%,并建议按环境拆分 env 文件,同时使用 git-crypt、SOPS、AWS Secrets Manager 和 HashiCorp Vault 等工具。
Vapi 博客的一篇汇总列出了五个用于语音集成的 Character AI 替代方案:Vapi、AnimaAI、JasperAI、Novel AI 和 AI Dungeon。Vapi 被宣传为原生 API 的 Voice AI 平台,支持 100 多种语言,可连接 40 多个应用,配备由 Sesame 驱动的语音代理以及用于捕捉幻觉的自动化测试套件。
Amazon Lex 适合已在使用 AWS、需要与 Amazon 服务紧密集成的团队,而 Dialogflow 提供更广泛的语言支持,对新手来说学习曲线也更平缓。Lex 采用 Alexa 的技术,按使用量付费,第一年每月包含 10,000 次文本请求和 5,000 次语音请求的免费额度;Dialogflow 支持 30 多种语言,并提供预构建代理和情感分析。
Vapi 的指南说明了如何为其语音 AI 集成配置环境变量,涵盖临时与永久变量、用户级与系统级变量的区别。指南详细介绍了在 Windows、macOS 和 Linux 上的设置方法,并给出了 VAPI_API_KEY 和 VAPI_MULTILINGUAL_SUPPORT 等 Vapi 专用示例,以及命名和安全方面的最佳实践,例如绝不硬编码 API 密钥。
Narakeet 可将书面文稿转换为逼真的配音,提供 70 多种语言的 600 多种声音,并支持 140 多种语言和方言。该平台可将旁白与 PowerPoint、Google Slides 和 Markdown 文件同步,生成字幕和说明文字,并提供支持批处理的开发者 API。套餐起价约为每月 5 美元,并提供免费套餐。
Modal 推出了 Modal Batch,这是一个批处理接口,背后是重建的持久化队列,可一次性排队 100 万个输入(此前为 2,000 个),并保证作业启动后最长 7 天内执行(此前为 1 天)。新的原生处理器 .spawn_map 可在一组输入上启动数千个容器,用户无需管理异步逻辑;Harvey 报告称,将输入分散到 1,000 个容器后,其文档处理流水线速度提升了 10 倍。Suno 用它在上千个 GPU 上运行 GPU 加速的预处理,Achira 则依赖其重试机制处理量子力学数据集。
一份指南对 10 个用于临床的开源语音转文字模型进行了排名,评估维度包括实时准确率、临床术语处理、运行可靠性和数据安全。榜单涵盖 Vosk、DeepSpeech、SpeechBrain、OpenAI Whisper 和 ESPnet,并分别匹配到低资源农村诊所、多语言医院和术语密集型研究中心等场景。所有模型均可集成到 Vapi 的模型无关语音 AI 平台。
Modal 升级了其无服务器 Dict 键值存储:新建的 Dict 现在拥有无限存储空间,而非此前 10GiB 的上限,条目过期时间改为自上次写入或读取起 7 天。.put() 上新增的 skip_if_exists 标志支持分布式锁定和“恰好一次”语义,Dict 现在还提供数据持久性。这些变更仅适用于新建的 Dict。
Vapi 已推出与 GoHighLevel 日历的直接集成,将其语音代理嵌入 GHL 的日程安排流程。代理现在可以查看已连接的 GHL 日历上的实时可用性,根据来电者信息创建联系人,并预约与正确联系人关联的日程。设置方式与在 Vapi 中连接 Google 日历类似,包含四个新工具:Create Event、Check Availability、Create Contact 和 Contact Get。
Modal 构建了一个“资源求解器”,使用线性规划和单纯形算法来决定启动或关闭哪些云实例,以可预测的价格满足 GPU 需求。该系统还能捕捉临时套利机会,例如以比 H100 现行价格低 20% 的价格获取数百块 H200 GPU,每年节省数百万美元。
Modal 发布了其官方 JavaScript 和 Go SDK 的 alpha 版本,让开发者可以从 Node、Next.js 或 Go 服务中调用已部署的 Modal Functions 并创建隔离沙箱,而无需编写 Python。这些 SDK 无法部署函数,部署函数仍需使用 Python,且目前仅支持类 JSON 或 bytes 数据类型。Modal 表示,无论使用哪种语言,都能无问题地运行 10,000 个沙箱。
Lemon Slice 构建了 Lemon Slice Live,这是一款用于与 AI 角色进行实时视频对话的产品,使用 Modal 和 Daily 的低延迟原语,实现端到端视频响应延迟 3-6 秒。该流水线在独立的 Modal 容器上运行 Pipecat 服务器和一个 10 亿参数的视频模型,这些容器通过 Modal 的 Tunnel 通信,并通过区域选择实现同地部署,由 Deepgram、Grok 和 ElevenLabs 负责语音转文本、LLM 响应和文本转语音。此前,两个 Python Modal Functions 让 Lemon Slice 扩展到每小时 10,000 次请求,而无需管理 ECS 集群、作业队列或负载均衡器。
Vapi 现已支持短信,使其语音 AI 智能体能够在通话过程中收发文本消息。智能体可以实时回复收到的短信,在对话中途从语音切换到文本,并运行完全基于文本的流程;短信目前仅支持 Twilio。
sync. 正利用 Modal 每天对超过 100 小时的视频进行唇形同步,将长视频拆分为场景,在 n 个 T4 GPU 容器上运行人脸检测和翻译,再将每个场景交给其基于 A100 的专有 LipSync GenAI 模型处理。该团队每天部署多达 95 次,并在一年内将 10 个主要模型变体投入生产,此前他们从 Google Colab 原型和 AWS Lambda 迁移而来。
Vapi 发布了 Vapi MCP Server,让 AI 智能体工具通过函数调用触发实时语音流程和外呼。它支持 Claude Desktop 集成以及通过 SSE 进行远程访问,因此用户可以用自然语言让 Claude 拨打电话或安排跟进。该服务器可通过 @vapi-ai/mcp-server 获取,支持本地运行或通过托管的 SSE 端点访问。
Modal 现在允许每个 Function 最多排队 100 万个输入(此前为 2k),并提高了 .spawn() 速率限制,FunctionCall 结果保留 7 天。此次更新还增加了在容器内通过 app.run() 创建临时应用、CLI 和仪表板中应用的 Git 提交信息,以及一个新的 TensorRT-LLM 示例,以低于 400 毫秒的延迟提供 LLM 服务。
Modal 公布了重新设计的标志和字标,同时启动其首个户外品牌宣传活动,三块广告牌在旧金山各地投放至五月底。新标志由 Ty Wilkins 参与设计,取代了原先细线条的立方体“M”,以确保从网站图标到广告牌都清晰可辨。此次宣传将 Modal 定位为 AI 基础设施平台,这家总部位于纽约的公司选择旧金山以触达科技与 AI 的核心地带。
GSD at Work 的顾问 Christian Ulstrup 使用 Vapi 语音 AI 代理,为其 AI Action Sessions 工作坊打造了一套异步语音接待系统,取代了原先预约的探索电话。参与者可在方便时拨打专用的 Vapi 电话线,转录文本和 AI 生成的摘要通过 Zapier 流入 Slack,并记录在 HubSpot 中。在最近一位客户的项目中,来自全球的 20 位参与者贡献了超过 3 小时的探索内容,该场次获得了 5 分(满分 5 分)的评价。
Modal 将 GPU、CPU 和内存价格下调最高 65%,Team 套餐用户现在最多可同时运行 50 个 GPU。从 0.73.46 版本起,Modal SDK 已上线 conda-forge,并计划发布 1.0 版客户端。Modal 还发布了 LTX-Video 图生视频示例,并推出了新标志。