Chai Discovery 在 Modal 上扩展计算药物发现
Chai Discovery 正在使用 Modal 运行其机器学习药物发现流水线，涵盖蛋白质嵌入、多序列比对到抗体设计。Modal Volumes 一次性下载并索引达到数百 GB 的数据集，然后在多台机器间共享，而弹性 GPU 扩展能在几分钟内启动数百个 GPU。Chai 表示，同一套设置现在无需重写基础设施就能将研究工作流带入生产环境。
#部署/工程
Modal BlogAI 评分2222
OpenAI Developers BlogAI 评分4242 OpenAI 发布面向开发者文档的 Docs MCP Server
OpenAI 发布了一个公开的 Model Context Protocol (MCP) 服务器，让 agent 以只读方式访问 developers.openai.com、platform.openai.com 和 learn.chatgpt.com 上的开发者文档。该服务器仅用于文档，不会代表用户调用 OpenAI API。开发者可以通过 CLI 或 IDE 扩展，用一份共享配置将其添加到 Codex，并与 OpenAI Docs Skill 搭配使用以获得带引用的回答。
Modal BlogAI 评分3838 Modal 如何在多云环境下维护 20,000+ 块 GPU 的健康运行
Modal 已将其多云 GPU 工作池扩展到超过 20,000 块并发 GPU，并在过去几年中启动了超过四百万个云实例，现在正分享其背后的可靠性系统。该文章涵盖实例类型测试与选择、机器镜像准备与启动检查、被动与主动 GPU 健康检查，以及可观测性与支持。文章报告了超大规模云厂商之间的差异，例如云 A 的启动成功率为 99.6%，而云 C 的 H100 在 2025 年运行温度超过 90ºC。
Vapi BlogAI 评分3838 Vapi Voices Beta 发布，面向高并发语音 AI，每分钟 0.0025 美元
Vapi 发布了 Vapi Voices Beta，这是一系列专为高并发、成本敏感的语音 AI 用例构建的语音模型，定价为每分钟 0.0025 美元，延迟针对对话响应性进行了优化。这些模型出现在现有的语音下拉菜单中，与 ElevenLabs、PlayHT 和 Deepgram 等提供商并列，因此团队可以将预约提醒和路由菜单等高并发、低风险流程路由到这些模型，而无需任何集成更改。Vapi 表示，正式可用性取决于 beta 使用所揭示的用例、真实负载下的延迟以及节省是否重要。
Modal BlogAI 评分4242 Modal 为 Mistral 3 增加 Day 0 支持，并通过 GPU 快照实现 10 倍更快的冷启动
Modal 现已提供对 Mistral 3 的 Day 0 支持，让开发者无需管理基础设施即可在无服务器 GPU 上部署该开放模型系列。在 3B 的 Ministral 3 模型上，Modal 的 GPU 快照功能将中位冷启动时间从约 118 秒缩短至约 12 秒，降幅接近 10 倍。Ministral 3 提供 3B、8B 和 14B 三种规模，在基准测试中与 Qwen 3-VL 系列表现相当。
Modal BlogAI 评分2222 Modal 谈为何编码智能体也需要良好的开发者体验
Modal 认为，那些帮助人类的开发者体验原则——紧密的反馈循环、通过 CLI/SDK/API 的程序化访问、可操作的错误信息，以及与代码一致的示例——同样能让编码智能体更快。由于智能体通过生成、运行和观察代码来迭代，模糊的错误或仅限 UI 的配置会让它们停滞，因此为智能体设计意味着应用同样的原则，而不是重新发明它们。
Vapi BlogAI 评分4242 Vapi 新增结构化输出，可从语音 AI 通话中提取经 schema 校验的数据
Vapi 现已为所有语音 AI 助手支持结构化输出，确保每通电话返回的数据都符合开发者定义的 JSON schema。Schema 在运行时借助 OpenAI、Anthropic、Gemini 等厂商的原生能力强制执行，并可在多个助手之间复用。提取的数据会通过通话完成 webhook 和 REST API 送达。
Replit BlogAI 评分4242 Replit 推出 Fast Mode，让 Agent 编辑更快、更便宜
Replit 推出了 Fast Mode，这是一种更快的方式，用于指示其 Agent 进行小型、精确的更改。它运行在一个高效的 agentic 模型上，比 Build 模式便宜得多，并经过优化以用最少的步骤完成请求，面向快速修复、视觉迭代和小型功能。Fast Mode 从今天起对所有 Replit 用户开放，通过闪电图标激活。
Modal BlogAI 评分3030 Reducto 如何在 Modal 上将企业文档处理的 P90 延迟降低 3 倍
Reducto 将其 30 多个文档处理模型的推理工作负载迁移到 Modal，使 P90 延迟降低了 3 倍。GPU 内存快照将冷启动减少了 83%，从约 70 秒降至约 12 秒，而按客户划分的自动扩缩容池可隔离流量峰值。在一次负载测试中，Reducto 在不到一小时内将摄取流水线扩展到 1,000 多块 GPU，以展示每分钟 10 万页的处理能力。
Modal BlogAI 评分3636 Modal 博客：主机开销正在扼杀你的推理效率
Modal 的博客解释了主机开销——即 GPU 空闲等待 CPU 准备工作的时间间隙——如何在 AI 推理中表现为 GPU 内核利用率低下。当主机开销达到 50% 时，GPU 推理成本是原本的 2 倍。文章详细介绍了生产级开源推理引擎中采用的修复方法，包括在设备上构建张量而非传输张量，以及减少不必要的 CUDA 内核启动。
Modal BlogAI 评分4040 Decagon 如何在 Modal 上交付实时语音 AI
Decagon 与 Modal 合作构建了 Decagon Voice 2.0，将延迟降低 65%，同时提升了意图识别和响应质量。Decagon 通过 SFT 和 RL 微调紧凑的开源模型，使其超越更大的前沿模型；Modal 则训练了自定义 EAGLE3 草稿模型，接受长度提高 38%，并重新设计了 SGLang，加入异步投机解码调度器，将吞吐量提升最高 12%。
Modal BlogAI 评分5858 Modal、Pipecat 与开源模型实现一秒语音到语音延迟
Modal 的 Ben Shababo 详细介绍了如何用开源 Pipecat 框架和开放权重模型在 Modal 上构建对话语音机器人，当客户端与容器地理位置接近时，语音到语音延迟中位数约为 1 秒。该流水线使用 NVIDIA parakeet-tdt-0.6b-v3 做 STT，用 vLLM 服务 Qwen3-4B-Instruct-2507，用 KokoroTTS 做语音输出，并用 ChromaDB 搭配 all-minilm-l6-v2 在 Modal 文档上做 RAG。Modal Tunnels 绕过输入平面，为 STT、TTS 和 vLLM 服务提供低延迟的 WebSocket 和 HTTP 连接；同时，与每个对话会话绑定的 FunctionCall 恢复了自动扩缩容能力，而将服务固定到附近区域则降低了网络延迟。
Modal BlogAI 评分2222 Modal 更新 Volumes v2、JavaScript 和 Go SDK 至测试版
Modal 已面向所有应用发布 Volumes v2 公开测试版，其重建的文件系统带来更高吞吐量、更快的随机访问，以及支持数百个容器真正的高并发写入，且存储文件数量不设上限。其 JavaScript/TypeScript 和 Go SDK 也以 v0.5 进入测试版，新增统一的 Client 对象，并支持 Sandboxes、Functions、Images 和 Volumes。
Modal BlogAI 评分3838 Modal 与 Datalab：5 分钟内即可部署 Marker 和 Surya 文档智能
Modal 已与 Datalab 合作，让开发者能在 5 分钟内于 Modal GPU 上部署 Marker 文档解析模型和 Surya OCR 工具包。Marker 是一个参数量低于十亿的模型，支持 90 多种语言，在 Modal 上运行每个容器约可达每秒 2.2 页，大约是使用 Apple MPS 的 M4 Mac 上每秒 0.22 页的 10 倍。Datalab 的工具对研究、个人使用以及融资或营收低于 200 万美元的初创公司保持免费，同时提供商业许可。
Vapi BlogAI 评分2828 Vapi 提供一周免费的 Cartesia Sonic-3 TTS
从 10 月 28 日到 11 月 2 日，Vapi 通过其托管 API 密钥，向社区免费开放 Cartesia 新推出的 Sonic-3 TTS 模型的无限制访问。Sonic-3 新增了情绪和笑声标签、细粒度的语速和音量控制，并支持 27 种新语言。Vapi 建议从 Kira 和 Ariana 语音开始，以获得低延迟、听起来自然的智能体。
Modal Blog精选AI 评分6060 Modal工程师逆向解析Flash Attention 4的工作原理
Modal工程师阅读了已发布的Flash Attention 4源代码，逆向解析了这个针对Blackwell优化的注意力内核的工作原理，因为目前尚无官方技术报告。文章追踪了一个tile在内核的warp特化异步流水线中的流转过程，并详述了两个数学技巧：一个可替代基于SFU的指数运算的三次多项式软件指数，以及一个更聪明的在线softmax重缩放规则——Tri Dao称其将修正次数减少了10倍。据报道，FA4比Nvidia闭源的cudnn注意力内核快约20%，而在撰写本文时反向版本尚不可用。
推荐理由：Modal工程师阅读了已发布的Flash Attention 4源代码，解释了其warp特化流水线和两个数学技巧，提供了一个关于CUDA内核设计走向的可迁移视角。
Modal BlogAI 评分3838 Modal Vibe：一个基于 Modal Sandboxes 构建的 AI 编程平台，5 分钟内可扩展至 1,000 个应用
Modal 构建了 Modal Vibe，这是一个基于 Modal Sandboxes 的开源演示型 vibe 编程平台，可在约五分钟内从 0 扩展到 1,000 个 AI 编码应用。一次创建 1,000 个应用（每个应用位于各自的 Sandbox 中）的负载测试耗时约 300 秒，其中 AI API 是限速环节。Modal 表示，Team Plan 可运行 1,000 个并发 Sandbox，足以支持每月超过一百万次会话。
Modal BlogAI 评分2020 Modal 产品更新：Notebooks、沙箱空闲超时和客户端变更
Modal 发布了多项产品更新，包括支持最高 8 块 B200 GPU 的云端 Python 实验环境 Modal Notebooks，以及为 modal.Sandbox.create() 新增的可选 idle_timeout 参数。客户端还为 @app.function() 和 @app.cls() 装饰器新增了 startup_timeout 参数，并提供了用于以命令式方式管理 Modal 资源类型的新 API 模式。Modal Notebooks 此后已被关停，但现有 notebook 仍可下载为 .ipynb 文件。
Modal BlogAI 评分4747 深入 Modal Notebooks：Modal 如何打造秒级启动的云 GPU Notebook
Modal 详细介绍了 Modal Notebooks 背后的工程实现：这款云端 Jupyter notebook 能在数秒内启动 GPU 和自定义镜像，并支持实时协作。内核运行在 Modal Sandboxes 内，由一个 modal-kernelshim 守护进程将 Jupyter ZeroMQ 消息转换为通过 Modal 控制平面隧道的 HTTP 调用。一个惰性加载的 Rust FUSE 容器文件系统通过分层缓存按需获取文件内容，从而避免了镜像解包延迟——对于 8 GB 的 Python/ML 镜像，该延迟可能接近一分钟。
Modal BlogAI 评分5858 Modal 推出 Notebooks，GPU 内核启动时间不到 5 秒
Modal Notebooks 在上个月有限测试后，现已向所有 Modal 客户全面开放。这个协作式笔记本环境运行在支持 GPU 的 Python 内核上，可在任意容器镜像和最高 256 vCPU、8 块 H100/B200 GPU 的硬件上于 5 秒内达到就绪状态，并具备自动空闲关机、共享 Volumes 和 Secrets 以及实时多光标编辑功能。Modal 表示，在 8 月测试期间，超过 5,000 个账户运行了 200,000 个代码单元，即将推出的功能包括内存快照、一键导出到 Modal Apps 以及定时运行。
Modal BlogAI 评分2222 Zencastr 如何借助 Modal 在几天内转录数百年的音频
Zencastr 将其播客转录工作负载迁移到 Modal 的 GPU 平台，在几分钟内扩展到 1,500 个并发 GPU，仅用几天时间就处理了数百年的音频。从自管理的 Kubernetes GPU 节点转向 Modal 的缩容到零基础设施，降低了空闲 GPU 成本，并消除了驱动程序和依赖管理的开销。所有核心 ML 工作负载现在都在 Modal 上运行，包括转录、说话人计数、笑声检测和音频质量评分。
Modal BlogAI 评分3838 Modal 产品更新：GPU 内存快照、Notebooks、服务令牌等
Modal 以 alpha 形式新增 GPU 内存快照，通过跳过 Torch 编译等步骤，将 GPU 工作负载的冷启动时间缩短 10 倍，可通过 enable_gpu_snapshot 选项启用。此次更新还带来处于 beta 阶段的 Modal Notebooks，可在浏览器中运行 Python；面向工作区管理员的 Service Tokens；以及为已部署 Functions 提供的浏览器生成 UI。
Modal Blog精选AI 评分6060 Modal 推出 GPU 内存快照，实现亚秒级无服务器冷启动
Modal 宣布推出 alpha 版 GPU 内存快照，将其现有的检查点/恢复系统扩展至捕获 GPU 显存、CUDA 内核、流和上下文，使 GPU 工作负载从冻结状态恢复，而非在启动后重建 CUDA 状态。
推荐理由：Modal 将 GPU 状态加入其内存快照，使 torch.compile 和 vLLM 工作负载的冷启动时间最多缩短 10 倍，并让缩容至零更具实用性。
Modal BlogAI 评分3636 什么是 AI 代码沙箱？
AI 代码沙箱是一个隔离环境，在运行时执行 LLM 生成的代码，将错误或注入漏洞的影响范围限制在沙箱内。现代实现运行在虚拟机或容器上，通常使用 gVisor 等安全运行时来拦截系统调用并保护主机。大多数公司选择托管沙箱服务，而不是用 Kubernetes 自建，因为冷启动和扩展到数百万并发会话的处理成本很高。
Modal BlogAI 评分5252 Modal 为批量转录开源 ASR 模型提供基准测试，速度提升 100 倍、成本降低 100 倍
Modal 在其平台上使用 NVIDIA 的 parakeet-tdt-0.6b-v2 和 canary-1b-flash 实现了批量转录服务，报告称其端到端性能比一个流行的专有 ASR API 快 100 倍以上或便宜 100 倍，同时在约一周的 ESB 基准音频上错误率与之相当。团队将这一提升归因于跨请求批次打乱文件、在 GPU 批次内按音频时长排序、并行下载，以及根据经验选择的 GPU 和 worker 配置。文章详细介绍了架构和优化步骤，以便他人构建类似服务。
Modal BlogAI 评分3030 按 token 计价有害：为何自托管 LLM 推理应按请求计价
Modal 的一篇博客文章认为，从 OpenAI、Anthropic 和 Alphabet 等 API 提供商沿袭而来的“每 token 美元”定价方式，对运行自托管 LLM 推理的团队有实际危害。文章主张，应用用户关心的是请求而非 token，需要按请求的框架来推理延迟、副本数量和计算成本。
Modal BlogAI 评分4040 Modal 产品更新：多节点训练集群、B200 和 H200 GPU，以及 Client 1.0
Modal 已推出多节点训练集群测试版，用户只需添加 @clustered 装饰器，即可跨多台主机调用数十块 GPU，并配备 3.2 Tbps Infiniband RDMA 互连，实现接近线性的扩展。该平台现以无服务器方式提供 NVIDIA B200 和 H200 GPU，价格分别为每小时 6.25 美元和 4.54 美元，声称 LLM 推理速度比 H100 最高快 2-4 倍。Modal 还发布了 Client 1.0，强调 API 稳定性，同时更新了只读 Volume 方法和 Cron 调度器的时区支持。
Modal BlogAI 评分3131 Jamsocket 加入 Modal
Jamsocket 是开源编排器 Plane、Y-Sweet 和 ForeverVM 背后的后端平台，现已加入 Modal，联合创始人 Paul Butler 和 Taylor Baldwin 也将加入 Modal 团队。Jamsocket 产品将继续正常运营，同时核心功能将迁移至 Modal。创始人表示，这让以 AI 为核心的客户能够在一个平台上部署 GPU 推理、代码沙箱和实时后端。
Modal BlogAI 评分2828 Modal 如何在周末支撑 25 万个 Lovable 应用创建
Lovable 在 2025 年 6 月与 Anthropic、OpenAI 和 Google 联合举办的促销周末活动中，使用 Modal Sandboxes 运行 LLM 生成的代码，使用户在 48 小时内构建了约 25 万个应用。Modal 运行了超过 100 万个沙箱，峰值时并发数高达 2 万个，Lovable 的并发会话激增 2.5-3 倍，而其平台团队一次都未被呼叫。切换到 Modal 后，Lovable 将其沙箱编排代码从 15,000 行缩减到 700 行。
Modal BlogAI 评分4040 Modal 如何利用评估和推理时计算扩展生成可扫描的 QArt 码
Modal 利用评估和推理时计算扩展来改进其 QArt 码系统，将二维码扫描率提升至其 95% 的服务水平目标，同时改善美学质量，并在 p95 下于 20 秒内返回二维码。这项工作遵循标准的机器学习流程：收集人类判断、与之对齐，然后扩展，解决了“在我的提示上有效”的差距，该差距导致许多生成的二维码无法扫描。
Modal BlogAI 评分2828 Quora 如何利用 Modal 同时运行数千个 Python 沙箱
Quora 使用 Modal Sandboxes 在其 AI 聊天机器人平台 Poe 中安全执行 LLM 生成的代码，该功能比自研方案提前数月上线。团队对 Sandbox 创建吞吐量进行了压力测试，达到每秒 1000 个沙箱，并报告节省了相当于 2 名工程师的持续基础设施维护时间。
Vapi BlogAI 评分3838 Vapi 推出通过 CSV 上传发起外呼活动的功能
Vapi 现在允许用户通过上传包含电话号码和自定义变量的 CSV 文件来发起外呼活动，然后分配一个助手或工作流来执行。Vapi 负责排队、执行和记录，通话状态可在仪表板中查看。活动需要使用已验证的电话号码，不能使用 Vapi 号码。
Vapi BlogAI 评分2222 Mistral 与 Llama 3：语音 AI 应用的完整对比
Mistral 和 Llama 3 在语音 AI 的设计理念上存在分歧：Mistral 的 7B 到 Mistral Small 3.1（24B）模型偏向低延迟效率，而 Llama 3 从 8B 扩展到 70B，以获得更强的推理能力和多语言覆盖。Mistral Small 3.1 的首 token 时间达到 0.29 秒，速度为每秒 150-166 个 token；Mistral Small 24B 在 ARC-C、GPQA 和 MMLU 上优于 Llama 3.1 8B Instruct；而 Llama 3.1 405B 在 MMLU 上得分 85.2%，在 GSM8K 上得分 96.8%。
Vapi BlogAI 评分2222 Vapi 上语音 AI STT 的 8 个 Azure 替代方案
Vapi 现在提供八家语音转文本提供商——Gladia、AssemblyAI、Deepgram、Cartesia、Talkscriber、OpenAI、Speechmatics 和 ElevenLabs——作为语音代理中 Azure 的即插即用替代方案。切换提供商只需更改一个 JSON 参数，让开发者能够对延迟、成本和合规性进行基准测试。Gladia 声称端到端延迟低于 100 毫秒，AssemblyAI 在一次 API 调用中捆绑了摘要和 PII 脱敏功能，而 Cartesia 完全在本地运行。
Vapi BlogAI 评分2222 Gemini Flash 与 Pro：对比 Google 最新 LLM
Google 的 Gemini 2.5 Flash 和 2.5 Pro 主要区别在于速度与推理深度，两者均提供 100 万 token 上下文窗口，并原生支持在 Vapi 中用于语音代理。Flash 在每秒 163 token 的速度下，0.21–0.37 秒返回首个 token，输入/输出每百万 token 费用为 $0.15/$0.60；而 Pro 费用为 $1.25/$10，并增加了 Deep Think 模式，计划提供 200 万 token 窗口。
Modal BlogAI 评分5858 Modal 展示如何将 FLUX.1-dev 的运行速度提升三倍
Modal 的工程师们介绍了如何让 Black Forest Labs 的 FLUX.1-dev 作为自动扩缩容服务运行，速度提升约三倍，将 1024x1024 图像的生成时间从约 6.75 秒缩短到 3 秒以内。标准优化手段，即启用 max-autotune 的 Torch 编译器、融合 QKV 注意力和 channels-last 内存布局，带来了约 1.5 倍的提升；而基于 TEACache 论文、来自 ParaAttention 仓库的 First Block Caching 在阈值 0.12 下又额外带来了 2 倍的提升。编译缓存和 Modal Memory Snapshots 将冷启动延迟降低了 30 倍。
Vapi BlogAI 评分3838 Deepgram Nova-3 与 Nova-2：STT 引擎如何演进
Deepgram 的 Nova-3 将流式词错误率从 Nova-2 的 8.4% 降至 6.84%，批处理 WER 达到 5.26%，流式错误减少 54.3%。Nova-3 用单一可适配网络取代了 Nova-2 各自独立的领域专用模型，并新增实时多语言对话处理、无需重新训练即可自助添加最多 100 个自定义术语，以及最多 50 个实体的脱敏功能。两款模型均在 Vapi 上原生运行且端点相同，因此切换只需更改参数，不过 Nova-3 属于 Deepgram 的高端定价层级。
Modal BlogAI 评分4040 Modal 1.0 发布：更稳定的 Python SDK，采用显式配置
Modal 已推出其 Python SDK 客户端的 1.0 版本，公司称这一里程碑为其无服务器云计算平台带来了新的成熟度和稳定性，预计未来破坏性变更将大幅减少。该版本移除了诸如自动挂载本地包之类的“魔法”行为，将核心功能拆分到独立的装饰器中（如新增的 @modal.concurrent），并将本地文件处理统一归入 modal.Image 类。Modal 还计划推出其他语言的 SDK，并正在探索该平台应如何服务于 AI 驱动的智能体工作流。
Vapi BlogAI 评分2222 语音AI改善物流的三个案例
Vapi概述了物流领域的三个语音AI用例：ShipEX在350辆卡车上使用语音智能来路由维护警报和事故报告；爱达荷州酒类管理局的语音拣选系统将拣选率提高了35%；维护技术人员通过语音记录问题，自动创建CMMS工单。文章还详细介绍了与TMS、CRM和WMS系统的API集成以及部署注意事项。
Vapi BlogAI 评分2222 11 个优秀的 ElevenLabs 替代方案：Vapi 原生 TTS 模型
Vapi 现在提供 11 个内置文本转语音模型作为 ElevenLabs 的替代方案，包括 Neuphonic 的 Neu-hq 和 Neu-fast、Cartesia 的 Sonic 系列、Azure TTS、OpenAI TTS、Deepgram、Smallest AI 的 Lightning、LMNT、PlayHT、Hume 的 Octave 以及 Rime AI 的 Mist v2。开发者可以在几分钟内切换这些模型，无需重新编码，Vapi 表示其通过这些模型每天处理超过一百万次语音通话。