Zencastr 如何借助 Modal 在几天内转录数百年的音频
Zencastr 将其播客转录工作负载迁移到 Modal 的 GPU 平台，在几分钟内扩展到 1,500 个并发 GPU，仅用几天时间就处理了数百年的音频。从自管理的 Kubernetes GPU 节点转向 Modal 的缩容到零基础设施，降低了空闲 GPU 成本，并消除了驱动程序和依赖管理的开销。所有核心 ML 工作负载现在都在 Modal 上运行，包括转录、说话人计数、笑声检测和音频质量评分。
全部动态
Modal BlogAI 评分2222
Modal BlogAI 评分3636 什么是 AI 代码沙箱？
AI 代码沙箱是一个隔离环境，在运行时执行 LLM 生成的代码，将错误或注入漏洞的影响范围限制在沙箱内。现代实现运行在虚拟机或容器上，通常使用 gVisor 等安全运行时来拦截系统调用并保护主机。大多数公司选择托管沙箱服务，而不是用 Kubernetes 自建，因为冷启动和扩展到数百万并发会话的处理成本很高。
Modal BlogAI 评分5252 Modal 为批量转录开源 ASR 模型提供基准测试，速度提升 100 倍、成本降低 100 倍
Modal 在其平台上使用 NVIDIA 的 parakeet-tdt-0.6b-v2 和 canary-1b-flash 实现了批量转录服务，报告称其端到端性能比一个流行的专有 ASR API 快 100 倍以上或便宜 100 倍，同时在约一周的 ESB 基准音频上错误率与之相当。团队将这一提升归因于跨请求批次打乱文件、在 GPU 批次内按音频时长排序、并行下载，以及根据经验选择的 GPU 和 worker 配置。文章详细介绍了架构和优化步骤，以便他人构建类似服务。
Modal BlogAI 评分4040 Modal 如何利用评估和推理时计算扩展生成可扫描的 QArt 码
Modal 利用评估和推理时计算扩展来改进其 QArt 码系统，将二维码扫描率提升至其 95% 的服务水平目标，同时改善美学质量，并在 p95 下于 20 秒内返回二维码。这项工作遵循标准的机器学习流程：收集人类判断、与之对齐，然后扩展，解决了“在我的提示上有效”的差距，该差距导致许多生成的二维码无法扫描。
Modal BlogAI 评分2828 Quora 如何利用 Modal 同时运行数千个 Python 沙箱
Quora 使用 Modal Sandboxes 在其 AI 聊天机器人平台 Poe 中安全执行 LLM 生成的代码，该功能比自研方案提前数月上线。团队对 Sandbox 创建吞吐量进行了压力测试，达到每秒 1000 个沙箱，并报告节省了相当于 2 名工程师的持续基础设施维护时间。
Vapi BlogAI 评分2222 Mistral 与 Llama 3：语音 AI 应用的完整对比
Mistral 和 Llama 3 在语音 AI 的设计理念上存在分歧：Mistral 的 7B 到 Mistral Small 3.1（24B）模型偏向低延迟效率，而 Llama 3 从 8B 扩展到 70B，以获得更强的推理能力和多语言覆盖。Mistral Small 3.1 的首 token 时间达到 0.29 秒，速度为每秒 150-166 个 token；Mistral Small 24B 在 ARC-C、GPQA 和 MMLU 上优于 Llama 3.1 8B Instruct；而 Llama 3.1 405B 在 MMLU 上得分 85.2%，在 GSM8K 上得分 96.8%。
Vapi BlogAI 评分2222 Vapi 上语音 AI STT 的 8 个 Azure 替代方案
Vapi 现在提供八家语音转文本提供商——Gladia、AssemblyAI、Deepgram、Cartesia、Talkscriber、OpenAI、Speechmatics 和 ElevenLabs——作为语音代理中 Azure 的即插即用替代方案。切换提供商只需更改一个 JSON 参数，让开发者能够对延迟、成本和合规性进行基准测试。Gladia 声称端到端延迟低于 100 毫秒，AssemblyAI 在一次 API 调用中捆绑了摘要和 PII 脱敏功能，而 Cartesia 完全在本地运行。
Vapi BlogAI 评分2222 Gemini Flash 与 Pro：对比 Google 最新 LLM
Google 的 Gemini 2.5 Flash 和 2.5 Pro 主要区别在于速度与推理深度，两者均提供 100 万 token 上下文窗口，并原生支持在 Vapi 中用于语音代理。Flash 在每秒 163 token 的速度下，0.21–0.37 秒返回首个 token，输入/输出每百万 token 费用为 $0.15/$0.60；而 Pro 费用为 $1.25/$10，并增加了 Deep Think 模式，计划提供 200 万 token 窗口。
Modal BlogAI 评分5858 Modal 展示如何将 FLUX.1-dev 的运行速度提升三倍
Modal 的工程师们介绍了如何让 Black Forest Labs 的 FLUX.1-dev 作为自动扩缩容服务运行，速度提升约三倍，将 1024x1024 图像的生成时间从约 6.75 秒缩短到 3 秒以内。标准优化手段，即启用 max-autotune 的 Torch 编译器、融合 QKV 注意力和 channels-last 内存布局，带来了约 1.5 倍的提升；而基于 TEACache 论文、来自 ParaAttention 仓库的 First Block Caching 在阈值 0.12 下又额外带来了 2 倍的提升。编译缓存和 Modal Memory Snapshots 将冷启动延迟降低了 30 倍。
Vapi BlogAI 评分1818 房地产经纪人使用AI的五种方式
一份指南概述了房地产经纪人使用AI的五种方式，包括基于Vapi构建的语音代理，可全天候接听电话、筛选潜在客户并预约看房。指南还涵盖使用ChatGPT和Canva自动化内容创作，以及HouseCanary和CoreLogic等AI定价工具，这些工具能生成带有置信度评分的估值。
Vapi BlogAI 评分3838 Deepgram Nova-3 与 Nova-2：STT 引擎如何演进
Deepgram 的 Nova-3 将流式词错误率从 Nova-2 的 8.4% 降至 6.84%，批处理 WER 达到 5.26%，流式错误减少 54.3%。Nova-3 用单一可适配网络取代了 Nova-2 各自独立的领域专用模型，并新增实时多语言对话处理、无需重新训练即可自助添加最多 100 个自定义术语，以及最多 50 个实体的脱敏功能。两款模型均在 Vapi 上原生运行且端点相同，因此切换只需更改参数，不过 Nova-3 属于 Deepgram 的高端定价层级。
Vapi BlogAI 评分3535 ElevenLabs 与 OpenAI TTS：哪个更适合你？
ElevenLabs Flash v2.5 的首音频延迟为 75ms，而 OpenAI 为 200ms；OpenAI 每百万字符收费 15 美元，而 ElevenLabs 提供每月 5 至 1,320 美元的套餐。ElevenLabs 提供 3,000 多种声音并支持克隆，词准确率为 82%，而 OpenAI 提供 11 种固定声音，准确率为 77%。这两家 TTS 提供商都已集成到 Vapi 中，可直接测试。
Vapi BlogAI 评分2222 语音AI改善物流的三个案例
Vapi概述了物流领域的三个语音AI用例：ShipEX在350辆卡车上使用语音智能来路由维护警报和事故报告；爱达荷州酒类管理局的语音拣选系统将拣选率提高了35%；维护技术人员通过语音记录问题，自动创建CMMS工单。文章还详细介绍了与TMS、CRM和WMS系统的API集成以及部署注意事项。
Vapi BlogAI 评分2525 为语音 AI 选择 Gemini 模型
Vapi 介绍了如何在四款 Gemini 模型中为语音智能体做选择：Gemini 1.0 Pro 适合可预测、符合合规要求的流程，输入每百万 token 0.50 美元、输出每百万 token 2.00 美元；Gemini 1.5 Flash 适合高吞吐量工作，上下文窗口为 100 万 token；Gemini 1.5 Pro 适合深度推理，上下文窗口为 200 万 token，长上下文检索准确率达 99.7%；Gemini 2.0 Flash 支持原生工具调用。
Vapi BlogAI 评分3030 面向语音 AI 开发者的 DeepSeek R1 与 V3 对比
DeepSeek V3 每秒处理的 token 数量比 R1 多 47%，每百万输出 token 收费 0.28 美元；R1 每百万输出 token 收费 2.19 美元，并会为更难的任务运行内部推理循环。R1 在 MATH-500 上得分 97.3%，在 AIME 2024 上得分 79.8%；V3 则分别为 90.2% 和 39.2%。多数团队将 80-90% 的简单查询交给 V3，把复杂推理工作交给 R1。
Vapi BlogAI 评分1010 SRTP 简介：安全实时传输协议
SRTP 通过为每个媒体数据包添加加密载荷、认证标签和主密钥标识符来保护 RTP 语音和视频流。它主要依赖 AES 计数器模式和 HMAC-SHA1 认证标签，用序列号阻止重放攻击，并与 DTLS-SRTP 或 SDES 配合进行密钥交换。SRTP 被定位为实时通信中开销较低的应用层选项，GDPR、HIPAA 和 CPRA 被列为合规驱动因素。
Vapi BlogAI 评分1818 语音 AI 项目中的 .env 文件与环境变量
一份关于在语音 AI 项目中使用 .env 文件与环境配置的指南，涵盖 Node.js 与 Python 的 dotenv 设置、将 .env 加入 .gitignore，以及 VAPI_API_KEY 和 VAPI_PROJECT_ID 等 Vapi 专用密钥。文中引用 GitGuardian 的发现：2023 年 GitHub 上泄露了 1280 万个密钥，同比增长 28%，并建议按环境拆分 env 文件，同时使用 git-crypt、SOPS、AWS Secrets Manager 和 HashiCorp Vault 等工具。
Vapi BlogAI 评分1818 Amazon Lex 与 Dialogflow：完整平台对比指南
Amazon Lex 适合已在使用 AWS、需要与 Amazon 服务紧密集成的团队，而 Dialogflow 提供更广泛的语言支持，对新手来说学习曲线也更平缓。Lex 采用 Alexa 的技术，按使用量付费，第一年每月包含 10,000 次文本请求和 5,000 次语音请求的免费额度；Dialogflow 支持 30 多种语言，并提供预构建代理和情感分析。
Vapi BlogAI 评分88 掌握 Vapi 语音 AI 集成的环境变量配置
Vapi 的指南说明了如何为其语音 AI 集成配置环境变量，涵盖临时与永久变量、用户级与系统级变量的区别。指南详细介绍了在 Windows、macOS 和 Linux 上的设置方法，并给出了 VAPI_API_KEY 和 VAPI_MULTILINGUAL_SUPPORT 等 Vapi 专用示例，以及命名和安全方面的最佳实践，例如绝不硬编码 API 密钥。
Vapi BlogAI 评分2020 10 款最佳开源医疗语音转文字工具
一份指南对 10 个用于临床的开源语音转文字模型进行了排名，评估维度包括实时准确率、临床术语处理、运行可靠性和数据安全。榜单涵盖 Vosk、DeepSpeech、SpeechBrain、OpenAI Whisper 和 ESPnet，并分别匹配到低资源农村诊所、多语言医院和术语密集型研究中心等场景。所有模型均可集成到 Vapi 的模型无关语音 AI 平台。
Modal BlogAI 评分3636 Modal 用于 GPU 容量与云套利的线性规划资源求解器
Modal 构建了一个“资源求解器”，使用线性规划和单纯形算法来决定启动或关闭哪些云实例，以可预测的价格满足 GPU 需求。该系统还能捕捉临时套利机会，例如以比 H100 现行价格低 20% 的价格获取数百块 H200 GPU，每年节省数百万美元。
Modal BlogAI 评分2222 sync. 如何借助 Modal 每天对 100 小时视频进行唇形同步
sync. 正利用 Modal 每天对超过 100 小时的视频进行唇形同步，将长视频拆分为场景，在 n 个 T4 GPU 容器上运行人脸检测和翻译，再将每个场景交给其基于 A100 的专有 LipSync GenAI 模型处理。该团队每天部署多达 95 次，并在一年内将 10 个主要模型变体投入生产，此前他们从 Google Colab 原型和 AWS Lambda 迁移而来。
Vapi BlogAI 评分2020 用 Vapi 语音 AI 代理扩展客户接待：一位顾问的案例研究
GSD at Work 的顾问 Christian Ulstrup 使用 Vapi 语音 AI 代理，为其 AI Action Sessions 工作坊打造了一套异步语音接待系统，取代了原先预约的探索电话。参与者可在方便时拨打专用的 Vapi 电话线，转录文本和 AI 生成的摘要通过 Zapier 流入 Slack，并记录在 HubSpot 中。在最近一位客户的项目中，来自全球的 20 位参与者贡献了超过 3 小时的探索内容，该场次获得了 5 分（满分 5 分）的评价。
Modal BlogAI 评分4040 GPU 利用率的高层指南：分配、内核与模型 FLOP/s 利用率
Modal 发布了一份指南，区分了通常被称为“GPU 利用率”的三件事：GPU 分配利用率（运行应用代码的 GPU 秒数占付费 GPU 秒数的比例）、GPU 内核利用率（在 GPU 上运行代码的时间占比）以及模型 FLOP/s 利用率（所使用的理论算术带宽的份额）。该指南聚焦于神经网络推理工作负载，Modal 将其称为收入中心而非成本中心。
Modal BlogAI 评分3030 什么是 LLM 微调？技术与工具指南
微调会调整预训练 LLM 的权重，使其适配特定任务或领域，相比提示工程能提供更高质量，同时成本和延迟更低；一个经过微调的 Llama 7B 在性能相当的情况下，每 token 的成本效益大约比 GPT-3.5 高 50 倍。本指南涵盖结构化输出、风格遵循和领域特定指令等用例，以及 OpenAI、Predibase、Modal、Google Colab 和 AWS SageMaker 等选项，还有 HuggingFace transformers、TRL 和 Axolotl 等框架。
Modal BlogAI 评分2525 OpenArt 如何借助 Modal 在数百块 GPU 上扩展其生成式 AI 艺术平台
OpenArt 将其专有的 ComfyUI 工作流部署在 Modal 上，把在 AWS 和 GCP 上需要数小时的部署缩短到几分钟，并能自动扩展到数百个 GPU 容器。Modal 目前为该平台上的 100 多个工作流提供支持，该平台月活跃用户超过 300 万。
Modal BlogAI 评分2222 使用 Modal、MongoDB 和 Clay 对加利福尼亚卫星嵌入进行混合搜索
一个演示应用利用时间戳、地理位置数据和来自 Clay v1 基础模型的卫星图像嵌入，对加利福尼亚州进行混合搜索。Modal 负责编排每日 Sentinel API 查询、MongoDB Atlas 存储以及在 A10 GPU 上进行 GPU 嵌入推理，并通过 FastAPI 提供一个小的 Alpine JS 前端。
Modal BlogAI 评分2020 Contextual AI 如何利用 Modal GPU 实现 CI 自动化
Contextual AI 在 Modal 上实现并并行化了基于 GPU 的持续集成，取代了此前在内部 GPU 节点上手动运行测试的方式。一个 GitHub Action 会触发一个挂载多块 GPU 的 Modal Function，借助镜像构建缓存，测试可在任务提交后 30 秒内启动。Modal 按使用量计费，因此计费中 99% 都是实际测试运行时间。
Modal Blog精选AI 评分6262 Modal 复现 Large Language Monkeys：LLaMA 3.1 8B 通过搜索在 HumanEval 上媲美 GPT-4o
Modal 的 Charles Frye 在新数据集上复现了 Large Language Monkeys 论文的核心主张，表明重复采样使 LLaMA 3.1 8B 在 HumanEval 上从 66.4% pass@1 提升至 90.5% pass@100 和 95.1% pass@1000，而 GPT-4o 报告的 pass@1 为 90.2%。运行使用 Modal 无服务器 GPU 上的 vLLM 和 Modal Sandboxes 进行并行测试执行，成本远低于 50 美元，并在三个数量级上展现出平滑、可预测的扩展。
推荐理由：一次亲手复现表明，使用小型开源模型进行重复采样可以在 HumanEval 上接近 GPT-4o，提供了一种具体、低成本的计算换准确率方案。
Modal BlogAI 评分2525 通过 Modal 从 Airflow 运行 GPU 任务
Modal 现在可以直接从 Airflow DAG 触发，让团队无需设置 Celery 或 Kubernetes 执行器即可运行 GPU 支持的 AI/ML 任务。该指南涵盖在 Airflow 环境中安装 Modal、设置 MODAL_TOKEN_ID 和 MODAL_TOKEN_SECRET，以及两种方法：通过查找调用已部署的 Modal Functions，或构建在 Modal Sandboxes 中运行 Python 的自定义 operator。一个 Modal Airflow provider 包正在开发中。
Modal BlogAI 评分3838 Modal 如何利用系统调用特征识别加密货币挖矿者
Modal 在其无服务器容器运行时中新增了一个名为 seccheck 的运行时程序分析组件，可在封禁违规用户之前检测并禁用用于加密货币挖矿的 Function。由于挖矿者可以更改元数据但无法更改其程序，Modal 分析的是系统调用日志，而非源代码、二进制文件或容器镜像。该系统避免了基于 ptrace 的 strace 开销——后者可能使系统调用密集的程序变慢 100 倍以上。
Modal BlogAI 评分2222 Hunch 如何利用 Modal Sandboxes 安全运行 AI 生成的代码
Hunch 是一个空间画布，集成了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，它使用 Modal Sandboxes 在隔离的临时容器中安全执行 AI 生成的代码。该集成只需几行 Python 代码，支持 pip 安装、挂载存储卷和自动扩缩容。Hunch 表示，这一设置让非程序员也能构建获取 API 数据或将结果发送到 Slack webhook 的工作流。
Modal BlogAI 评分3131 在 Heroicons 上微调 Stable Diffusion，打造无限图标库
Modal 在约 300 个 SVG 的 Heroicons 图标库上微调了一个 Stable Diffusion 模型，以生成该风格的新黑白线条图标，包括 barack-obama 和 golden-retriever 等概念的图标。完整流程——下载预训练模型、使用 HuggingFace Diffusers 的 train_text_to_image.py 脚本进行全量微调，以及提供 Gradio Web UI——都在 Modal 的无服务器 GPU 平台上运行。文章详细介绍了数据集准备（SVG 转 PNG、白色背景、caption metadata.csv），并指出全量微调效果最好，不过 LoRA 风格的并行适配器也可用于小数据集。
Modal BlogAI 评分5050 微调开源嵌入模型以超越 OpenAI 的 text-embedding-3-small
仅用少量示例，微调后的开源嵌入模型就能以更低的成本在准确率上超越 OpenAI 的 text-embedding-3-small。Modal 在 Quora 重复问题数据集上做了一项实验，以探究一个简单的问答用例需要多少微调数据，并介绍了如何在其无服务器基础设施上构建这样一个模型。
Modal BlogAI 评分2222 Ramp 如何在 Modal 上使用微调 LLM 实现收据处理自动化
Ramp 使用 Modal 微调其 LLM，并构建了一个文本转结构化 JSON 的模型用于收据管理，使需要人工干预的收据减少了 34%，其基础设施成本估计比 OpenAI 等主要 LLM 提供商便宜 79%。Modal 函数并行训练了许多候选模型，将权重持久化到 Modal volumes，并提供了一个参数化推理端点。一名工程师还将一个用于 25,000 张发票的 PII 剥离脚本移植到 Modal，在 256 个云 worker 上并行运行，20 分钟完成，花费 100 美元，而在本地则需要 3 天。
Modal BlogAI 评分3636 Modal 的 modal-http：在无服务器基础设施上提供 Web 函数服务
Modal 构建了 modal-http，这是一个 HTTP 和 WebSocket 协议栈，使其无服务器函数能够接受 Web 请求，最近已完成完整的 WebSocket 支持。与 AWS Lambda 的 15 分钟和 50 MB 限制不同，Modal 容器最多可使用 64 个 CPU、336 GB 内存和 8 块 Nvidia H100 GPU，因此团队将 HTTP 转换为函数调用，而不是用传统的反向代理来前置容器。
Modal BlogAI 评分4040 用 Modal 和 Hugging Face TEI 在 15 分钟内嵌入英文维基百科
Modal 和 Hugging Face 的文本嵌入推理服务器可以在约 15 分钟内嵌入整个英文维基百科，成本仅略高于 15 美元，这得益于 Modal 的无服务器 GPU 弹性伸缩。文章认为，对于生产环境的 RAG，开源嵌入模型优于 OpenAI 的 text-embedding-ada-002 等基于 API 的模型，因为开源模型可以基于用户数据进行微调，并避免速率限制和按 token 计费的成本。
Cursor Changelog精选AI 评分6262 Cursor 分析 Llama-2-70B 推理成本与延迟，并与 GPT-3.5 对比
Cursor 在 2 块 80 GB A100 GPU 上测量了 Llama-2-70B 的推理，发现对于提示词 token，它比 GPT-3.5 便宜 3 倍以上，但在小批量下生成 token 的成本要高得多。提示词处理成本约为每 1K token 0.00042 美元，而 GPT-3.5 为 0.0015 美元；而在批量大小为 1 时，生成成本达到每 1K token 0.066 美元，只有在大批量下才接近 GPT-3.5 的定价，而这会将首 token 时间推至数秒。Cursor 建议对分类和重排序等提示词密集型任务使用开源模型，对生成密集型工作负载使用闭源 API。
推荐理由：Cursor 测量的成本和延迟数据展示了自托管 Llama-2-70B 何时优于 GPT-3.5、何时不优于，为开源模型服务决策提供了一个可复用的框架。