Modal 在其平台上使用 NVIDIA 的 parakeet-tdt-0.6b-v2 和 canary-1b-flash 实现了批量转录服务，报告称其端到端性能比一个流行的专有 ASR API 快 100 倍以上或便宜 100 倍，同时在约一周的 ESB 基准音频上错误率与之相当。团队将这一提升归因于跨请求批次打乱文件、在 GPU 批次内按音频时长排序、并行下载，以及根据经验选择的 GPU 和 worker 配置。文章详细介绍了架构和优化步骤，以便他人构建类似服务。
Modal 的一篇博客文章认为，从 OpenAI、Anthropic 和 Alphabet 等 API 提供商沿袭而来的“每 token 美元”定价方式，对运行自托管 LLM 推理的团队有实际危害。文章主张，应用用户关心的是请求而非 token，需要按请求的框架来推理延迟、副本数量和计算成本。
Modal 已推出多节点训练集群测试版，用户只需添加 @clustered 装饰器，即可跨多台主机调用数十块 GPU，并配备 3.2 Tbps Infiniband RDMA 互连，实现接近线性的扩展。该平台现以无服务器方式提供 NVIDIA B200 和 H200 GPU，价格分别为每小时 6.25 美元和 4.54 美元，声称 LLM 推理速度比 H100 最高快 2-4 倍。Modal 还发布了 Client 1.0，强调 API 稳定性，同时更新了只读 Volume 方法和 Cron 调度器的时区支持。
Jamsocket 是开源编排器 Plane、Y-Sweet 和 ForeverVM 背后的后端平台，现已加入 Modal，联合创始人 Paul Butler 和 Taylor Baldwin 也将加入 Modal 团队。Jamsocket 产品将继续正常运营，同时核心功能将迁移至 Modal。创始人表示，这让以 AI 为核心的客户能够在一个平台上部署 GPU 推理、代码沙箱和实时后端。
Lovable 在 2025 年 6 月与 Anthropic、OpenAI 和 Google 联合举办的促销周末活动中，使用 Modal Sandboxes 运行 LLM 生成的代码，使用户在 48 小时内构建了约 25 万个应用。Modal 运行了超过 100 万个沙箱，峰值时并发数高达 2 万个，Lovable 的并发会话激增 2.5-3 倍，而其平台团队一次都未被呼叫。切换到 Modal 后，Lovable 将其沙箱编排代码从 15,000 行缩减到 700 行。
Modal 利用评估和推理时计算扩展来改进其 QArt 码系统，将二维码扫描率提升至其 95% 的服务水平目标，同时改善美学质量，并在 p95 下于 20 秒内返回二维码。这项工作遵循标准的机器学习流程：收集人类判断、与之对齐，然后扩展，解决了“在我的提示上有效”的差距，该差距导致许多生成的二维码无法扫描。
Quora 使用 Modal Sandboxes 在其 AI 聊天机器人平台 Poe 中安全执行 LLM 生成的代码，该功能比自研方案提前数月上线。团队对 Sandbox 创建吞吐量进行了压力测试，达到每秒 1000 个沙箱，并报告节省了相当于 2 名工程师的持续基础设施维护时间。
Vapi 现在允许用户通过上传包含电话号码和自定义变量的 CSV 文件来发起外呼活动，然后分配一个助手或工作流来执行。Vapi 负责排队、执行和记录，通话状态可在仪表板中查看。活动需要使用已验证的电话号码，不能使用 Vapi 号码。
Mistral 和 Llama 3 在语音 AI 的设计理念上存在分歧：Mistral 的 7B 到 Mistral Small 3.1（24B）模型偏向低延迟效率，而 Llama 3 从 8B 扩展到 70B，以获得更强的推理能力和多语言覆盖。Mistral Small 3.1 的首 token 时间达到 0.29 秒，速度为每秒 150-166 个 token；Mistral Small 24B 在 ARC-C、GPQA 和 MMLU 上优于 Llama 3.1 8B Instruct；而 Llama 3.1 405B 在 MMLU 上得分 85.2%，在 GSM8K 上得分 96.8%。
Vapi 现在提供八家语音转文本提供商——Gladia、AssemblyAI、Deepgram、Cartesia、Talkscriber、OpenAI、Speechmatics 和 ElevenLabs——作为语音代理中 Azure 的即插即用替代方案。切换提供商只需更改一个 JSON 参数，让开发者能够对延迟、成本和合规性进行基准测试。Gladia 声称端到端延迟低于 100 毫秒，AssemblyAI 在一次 API 调用中捆绑了摘要和 PII 脱敏功能，而 Cartesia 完全在本地运行。
Google 的 Gemini 2.5 Flash 和 2.5 Pro 主要区别在于速度与推理深度，两者均提供 100 万 token 上下文窗口，并原生支持在 Vapi 中用于语音代理。Flash 在每秒 163 token 的速度下，0.21–0.37 秒返回首个 token，输入/输出每百万 token 费用为 $0.15/$0.60；而 Pro 费用为 $1.25/$10，并增加了 Deep Think 模式，计划提供 200 万 token 窗口。
Modal 的工程师们介绍了如何让 Black Forest Labs 的 FLUX.1-dev 作为自动扩缩容服务运行，速度提升约三倍，将 1024x1024 图像的生成时间从约 6.75 秒缩短到 3 秒以内。标准优化手段，即启用 max-autotune 的 Torch 编译器、融合 QKV 注意力和 channels-last 内存布局，带来了约 1.5 倍的提升；而基于 TEACache 论文、来自 ParaAttention 仓库的 First Block Caching 在阈值 0.12 下又额外带来了 2 倍的提升。编译缓存和 Modal Memory Snapshots 将冷启动延迟降低了 30 倍。
Deepgram 的 Nova-3 将流式词错误率从 Nova-2 的 8.4% 降至 6.84%，批处理 WER 达到 5.26%，流式错误减少 54.3%。Nova-3 用单一可适配网络取代了 Nova-2 各自独立的领域专用模型，并新增实时多语言对话处理、无需重新训练即可自助添加最多 100 个自定义术语，以及最多 50 个实体的脱敏功能。两款模型均在 Vapi 上原生运行且端点相同，因此切换只需更改参数，不过 Nova-3 属于 Deepgram 的高端定价层级。
Modal 已推出其 Python SDK 客户端的 1.0 版本，公司称这一里程碑为其无服务器云计算平台带来了新的成熟度和稳定性，预计未来破坏性变更将大幅减少。该版本移除了诸如自动挂载本地包之类的“魔法”行为，将核心功能拆分到独立的装饰器中（如新增的 @modal.concurrent），并将本地文件处理统一归入 modal.Image 类。Modal 还计划推出其他语言的 SDK，并正在探索该平台应如何服务于 AI 驱动的智能体工作流。
Vapi概述了物流领域的三个语音AI用例：ShipEX在350辆卡车上使用语音智能来路由维护警报和事故报告；爱达荷州酒类管理局的语音拣选系统将拣选率提高了35%；维护技术人员通过语音记录问题，自动创建CMMS工单。文章还详细介绍了与TMS、CRM和WMS系统的API集成以及部署注意事项。
Vapi 现在提供 11 个内置文本转语音模型作为 ElevenLabs 的替代方案，包括 Neuphonic 的 Neu-hq 和 Neu-fast、Cartesia 的 Sonic 系列、Azure TTS、OpenAI TTS、Deepgram、Smallest AI 的 Lightning、LMNT、PlayHT、Hume 的 Octave 以及 Rime AI 的 Mist v2。开发者可以在几分钟内切换这些模型，无需重新编码，Vapi 表示其通过这些模型每天处理超过一百万次语音通话。
Modal 现向所有账户持有人提供 Nvidia B200 和 H200 GPU，无需联系销售或申请配额，价格分别为每小时 6.25 美元和 4.54 美元。B200 配备 180 GB HBM3e 显存和 8 TB/s 带宽；在 Modal 的 vLLM 测试中，以 8 位精度运行 DeepSeek V3 时，在每秒 1 个请求下，8 块 B200 将首 token 中位时间较 8 块 H200 缩短了 2.5 倍。
DeepSeek V3 每秒处理的 token 数量比 R1 多 47%，每百万输出 token 收费 0.28 美元；R1 每百万输出 token 收费 2.19 美元，并会为更难的任务运行内部推理循环。R1 在 MATH-500 上得分 97.3%，在 AIME 2024 上得分 79.8%；V3 则分别为 90.2% 和 39.2%。多数团队将 80-90% 的简单查询交给 V3，把复杂推理工作交给 R1。
SRTP 通过为每个媒体数据包添加加密载荷、认证标签和主密钥标识符来保护 RTP 语音和视频流。它主要依赖 AES 计数器模式和 HMAC-SHA1 认证标签，用序列号阻止重放攻击，并与 DTLS-SRTP 或 SDES 配合进行密钥交换。SRTP 被定位为实时通信中开销较低的应用层选项，GDPR、HIPAA 和 CPRA 被列为合规驱动因素。
一份关于在语音 AI 项目中使用 .env 文件与环境配置的指南，涵盖 Node.js 与 Python 的 dotenv 设置、将 .env 加入 .gitignore，以及 VAPI_API_KEY 和 VAPI_PROJECT_ID 等 Vapi 专用密钥。文中引用 GitGuardian 的发现：2023 年 GitHub 上泄露了 1280 万个密钥，同比增长 28%，并建议按环境拆分 env 文件，同时使用 git-crypt、SOPS、AWS Secrets Manager 和 HashiCorp Vault 等工具。
Amazon Lex 适合已在使用 AWS、需要与 Amazon 服务紧密集成的团队，而 Dialogflow 提供更广泛的语言支持，对新手来说学习曲线也更平缓。Lex 采用 Alexa 的技术，按使用量付费，第一年每月包含 10,000 次文本请求和 5,000 次语音请求的免费额度；Dialogflow 支持 30 多种语言，并提供预构建代理和情感分析。
Vapi 的指南说明了如何为其语音 AI 集成配置环境变量，涵盖临时与永久变量、用户级与系统级变量的区别。指南详细介绍了在 Windows、macOS 和 Linux 上的设置方法，并给出了 VAPI_API_KEY 和 VAPI_MULTILINGUAL_SUPPORT 等 Vapi 专用示例，以及命名和安全方面的最佳实践，例如绝不硬编码 API 密钥。
Modal 推出了 Modal Batch，这是一个批处理接口，背后是重建的持久化队列，可一次性排队 100 万个输入（此前为 2,000 个），并保证作业启动后最长 7 天内执行（此前为 1 天）。新的原生处理器 .spawn_map 可在一组输入上启动数千个容器，用户无需管理异步逻辑；Harvey 报告称，将输入分散到 1,000 个容器后，其文档处理流水线速度提升了 10 倍。Suno 用它在上千个 GPU 上运行 GPU 加速的预处理，Achira 则依赖其重试机制处理量子力学数据集。
Modal 升级了其无服务器 Dict 键值存储：新建的 Dict 现在拥有无限存储空间，而非此前 10GiB 的上限，条目过期时间改为自上次写入或读取起 7 天。.put() 上新增的 skip_if_exists 标志支持分布式锁定和“恰好一次”语义，Dict 现在还提供数据持久性。这些变更仅适用于新建的 Dict。
Modal 构建了一个“资源求解器”，使用线性规划和单纯形算法来决定启动或关闭哪些云实例，以可预测的价格满足 GPU 需求。该系统还能捕捉临时套利机会，例如以比 H100 现行价格低 20% 的价格获取数百块 H200 GPU，每年节省数百万美元。
Modal 发布了其官方 JavaScript 和 Go SDK 的 alpha 版本，让开发者可以从 Node、Next.js 或 Go 服务中调用已部署的 Modal Functions 并创建隔离沙箱，而无需编写 Python。这些 SDK 无法部署函数，部署函数仍需使用 Python，且目前仅支持类 JSON 或 bytes 数据类型。Modal 表示，无论使用哪种语言，都能无问题地运行 10,000 个沙箱。
Lemon Slice 构建了 Lemon Slice Live，这是一款用于与 AI 角色进行实时视频对话的产品，使用 Modal 和 Daily 的低延迟原语，实现端到端视频响应延迟 3-6 秒。该流水线在独立的 Modal 容器上运行 Pipecat 服务器和一个 10 亿参数的视频模型，这些容器通过 Modal 的 Tunnel 通信，并通过区域选择实现同地部署，由 Deepgram、Grok 和 ElevenLabs 负责语音转文本、LLM 响应和文本转语音。此前，两个 Python Modal Functions 让 Lemon Slice 扩展到每小时 10,000 次请求，而无需管理 ECS 集群、作业队列或负载均衡器。
sync. 正利用 Modal 每天对超过 100 小时的视频进行唇形同步，将长视频拆分为场景，在 n 个 T4 GPU 容器上运行人脸检测和翻译，再将每个场景交给其基于 A100 的专有 LipSync GenAI 模型处理。该团队每天部署多达 95 次，并在一年内将 10 个主要模型变体投入生产，此前他们从 Google Colab 原型和 AWS Lambda 迁移而来。
Modal 现在允许每个 Function 最多排队 100 万个输入（此前为 2k），并提高了 .spawn() 速率限制，FunctionCall 结果保留 7 天。此次更新还增加了在容器内通过 app.run() 创建临时应用、CLI 和仪表板中应用的 Git 提交信息，以及一个新的 TensorRT-LLM 示例，以低于 400 毫秒的延迟提供 LLM 服务。
GSD at Work 的顾问 Christian Ulstrup 使用 Vapi 语音 AI 代理，为其 AI Action Sessions 工作坊打造了一套异步语音接待系统，取代了原先预约的探索电话。参与者可在方便时拨打专用的 Vapi 电话线，转录文本和 AI 生成的摘要通过 Zapier 流入 Slack，并记录在 HubSpot 中。在最近一位客户的项目中，来自全球的 20 位参与者贡献了超过 3 小时的探索内容，该场次获得了 5 分（满分 5 分）的评价。
Modal 将 GPU、CPU 和内存价格下调最高 65%，Team 套餐用户现在最多可同时运行 50 个 GPU。从 0.73.46 版本起，Modal SDK 已上线 conda-forge，并计划发布 1.0 版客户端。Modal 还发布了 LTX-Video 图生视频示例，并推出了新标志。
Modal 发布了一份指南，区分了通常被称为“GPU 利用率”的三件事：GPU 分配利用率（运行应用代码的 GPU 秒数占付费 GPU 秒数的比例）、GPU 内核利用率（在 GPU 上运行代码的时间占比）以及模型 FLOP/s 利用率（所使用的理论算术带宽的份额）。该指南聚焦于神经网络推理工作负载，Modal 将其称为收入中心而非成本中心。
Modal 已在 GitHub 上以 Creative Commons BY 4.0 许可证开源其 GPU Glossary，这是一个关于 GPU 编程主题的相互链接的短文汇编。该词汇表最初于两个月前发布，旨在填补跨栈 GPU 参考资料方面的空白，而社区提出的贡献请求促成了此次开源。该仓库的 GitHub Issues 已列出计划中的扩展内容，包括两个示例 matmul 内核以及一个关于 Thread Block Clusters 的章节。
Modal 推出了全新改版的日志仪表盘，支持按时间范围输入筛选；提供实时容器性能分析，用于调试卡住的容器或输入；以及 Debug Shells，可在运行中的容器内执行 vim、ps 和 strace 等命令。区域选择现已在所有套餐中提供，定价为基础价格乘以一个系数，客户端还通过新增的 oidc_auth_role_arn 字段为云存储桶挂载增加了 OIDC 认证。
Modal 为其无服务器 GPU 容器运行时引入了内存快照恢复功能，称其冷启动速度比标准容器启动快约 2.5 倍。一个通常需要约 13 秒的 Stable Diffusion 推理 Function 现在可在 3.5 秒内恢复，而一个简单的 import torch 程序在 p50 下从约 5 秒降至约 1.05 秒，在 p0 下降至 0.69 秒。快照基于 gVisor 的 checkpoint/restore 构建，按需创建，当恢复失败时会自动回退到标准容器启动；GPU 状态尚未保存，因此必须在恢复后重建。
推荐理由：Modal 解释了基于 gVisor 的内存快照如何缩短无服务器冷启动，并给出了 Stable Diffusion Function 和 torch import 示例的具体恢复耗时。
Modal 现已提供 NVIDIA L40S GPU，价格为每小时 1.95 美元，配备 48GB 内存，与 A10 GPU 相比，内存密集型任务性能最高提升 40%，计算密集型任务加速超过 100%。该平台还新增了用于限制 Web 端点访问的代理认证令牌、面向沙箱的文件系统 API，以及磁盘快照功能，允许用户从快照创建新的沙箱实例以消除冷启动。Modal 还宣布已完成 SOC 2 Type 2 认证。
Modal 宣布 Sandboxes 正式可用，这是其用于在与其它 Modal 资源隔离的环境中安全运行来自 LLM、用户或第三方来源的不可信代码的基础组件。Sandboxes 提供简单的 exec API、通过 Image API 实现运行时可配置的环境，以及用于持久化的文件系统快照。Modal 还将支持上游贡献至 SWE-bench，其中 --modal 标志可让 Verified 基准的 500 个任务在大约 7 分钟内运行完成，并列举 Quora 的 Poe、Codegen 和 Relevance AI 作为客户。
Modal 发布了一轮产品更新，核心是其 beta 内存快照功能的重大升级，据称可将 Stable Diffusion 等模型的冷启动时间缩短一半。该平台还新增了对 OpenID Connect 的支持以提供短期身份令牌，支持 eStargz 镜像压缩以加快从 ECR 和 Docker Hub 等注册表的构建速度，并将异步任务队列的输入上限从 2k 扩展至 100 万。
Modal 现向所有用户提供 NVIDIA L40S GPU，价格为每小时 1.95 美元，定位为其最受欢迎的推理加速器 A10 的更快、更大内存替代方案。L40S 将 GPU 内存翻倍至 48GB，使 Flux.1-schnell 等模型能在单块 GPU 上以 16bit 精度运行，并在内存受限任务上带来约 40% 的加速，在计算受限的 16bit Tensor Core 任务上加速超过 100%。
微调会调整预训练 LLM 的权重，使其适配特定任务或领域，相比提示工程能提供更高质量，同时成本和延迟更低；一个经过微调的 Llama 7B 在性能相当的情况下，每 token 的成本效益大约比 GPT-3.5 高 50 倍。本指南涵盖结构化输出、风格遵循和领域特定指令等用例，以及 OpenAI、Predibase、Modal、Google Colab 和 AWS SageMaker 等选项，还有 HuggingFace transformers、TRL 和 Axolotl 等框架。