Modal 自动扩缩容自动研究：为 AI 研究智能体提供弹性 GPU
Modal 演示了在弹性 GPU 上运行自动研究智能体：借助 Modal Skills，Claude Code 在 OpenAI 的 Parameter Golf 挑战中运行了 113 次实验，共消耗 238 GPU 小时，核心训练运行速度比单台工作站快 5 倍，而使用的资源仅为专用集群的一小部分。智能体通过 API 调用配置 GPU，可从一块 H100 自动扩展到数十块，并自动缩减至零。
#部署/工程
Modal BlogAI 评分4040
Modal BlogAI 评分3838 Modal 收购 Butter，创始人 Erik Dunteman 加入 Sandbox 团队
Modal 已收购 Butter，创始人 Erik Dunteman 与研究员 Raymond Tana 加入 Modal 的 Sandbox 团队。Butter 团队带来了 agent harness 工程经验，包括 bVisor——一个用 Zig 从零编写的虚拟 Linux 内核，用于轻量、临时的沙箱。Modal 表示，此次招聘推进了其让 Modal Sandboxes 成为一流产品体验的目标。
Modal BlogAI 评分4040 Modal 为 Physical Intelligence 机器人提供实时推理能力
Physical Intelligence (Pi) 将其视觉-语言-动作机器人模型运行在 Modal 上，仅增加约 10-15ms 的网络开销。Pi 与 Modal 合作，基于 UDP 构建了一个支持自动 NAT 穿透的 QUIC 门户，取代 TCP Tunnels，以避免机器人控制回路中的请求-响应停滞。存储在 Modal Volumes 中的检查点可在 30 秒内加载完成，区域固定部署使推理贴近机器人所在位置。
Modal BlogAI 评分2222 Modal 产品更新：RTX Pro 6000 Blackwell、Command K、Sandbox FS API
Modal 现已提供 NVIDIA 的 RTX Pro 6000 Blackwell，配备 96GB 显存和强劲的 fp4/fp8 吞吐能力，只需一行代码即可用于推理和微调工作负载。此次更新还新增了仪表盘命令面板（CMD+K）、改版后的 Sandbox 文件系统 API（测试版，支持最高 5GB 的读取和双向流式传输），以及支持历史日志拉取的 CLI 日志命令。
Modal BlogAI 评分3838 Runway 与 Modal 合作，为 Runway Characters 提供实时推理支持
Runway 正与 Modal 合作，为 Runway Characters 提供实时推理支持。Runway Characters 是一个基于 Runway 的 GWM-1 世界模型构建的实时视频智能体 API，能够仅凭一张图片、无需任何微调即可生成富有表现力的数字角色。Modal 的无服务器平台让 Runway 在不到 30 天内从概念验证推进到生产环境，并在所有区域使用具备 RDMA 网络的单行多节点 GPU 集群。Characters 现已面向开发者和企业开放，网址为 dev.runwayml.com；面向消费者的网址为 runwayml.com。
Modal BlogAI 评分2222 Doppel 如何借助 Modal 削减机器学习基础设施开销
Doppel 将其大部分机器学习工作流迁移到了 Modal，消除了拖慢训练实验和推理部署的基础设施摩擦。通过 map() 实现的并行实验取代了串行运行，而镜像层缓存和持久卷将构建时间最多缩短了 10 倍，复杂配置的预热构建时间更是缩短至一分钟以内。
Vapi BlogAI 评分3838 Vapi 网络研讨会解答关于 Composer 语音智能体构建器的热门问题
Vapi 举办了一场网络研讨会，首席产品经理 Nick Robin 在会上演示了 Composer——其产品内助手，无需编写代码即可构建语音智能体，并在 30 分钟的演示中生成了一个可用的呼入客服智能体。Composer 可编写系统提示词、配置电话号码、设置日程安排，并标记自身错误以供审批。它目前处于 alpha 阶段，支持呼入和呼出助手、CRM 与日历集成，以及通过助手 ID 编辑现有智能体。
Modal BlogAI 评分2222 Modal 产品更新：目录快照、GLM-5 端点和计费 API
Modal 为 Sandboxes 新增了目录快照功能，用户可对单个目录创建快照，并将其独立于基础镜像挂载到新的 Sandbox 中。Modal 还与 Z.ai 合作发布了一个免费的公共 GLM-5 端点，有效期至四月底，兼容 OpenCode、Claude Code、OpenClaw 和 Vercel AI SDK。modal billing report CLI 和 modal.billing.workspace_billing_report API 现已面向 Team 和 Enterprise 工作区正式可用。
Vapi BlogAI 评分3535 Vapi 发布 Skills 和 MCP 连接器，让编码代理能够构建语音代理
Vapi 发布了 Vapi Skills，这是一个遵循 Agent Skills 标准的代码库，同时推出一个 Model Context Protocol 连接器，让编码代理能够实时访问 Vapi 的文档。一条安装命令即可加载分步说明以及精确的 API schema，用于 create-assistant、create-tool、create-call 和 setup-webhook 等工作流，该技能包可在 Claude Code、Cursor、VS Code Copilot 和 Gemini CLI 上运行。
Modal BlogAI 评分2222 Modal 博客：Modal 如何加速加速 AI 研究的 AI 研究
Modal 是一个面向数据密集型和计算密集型 AI 工作负载的云基础设施平台，它重点介绍了 Hazy Research、Scaling Intelligence 和 IRIS 的研究工作，这些研究利用其 GPU 集群来加速 AI 研究。由 Scaling Intelligence 的 Anne Ouyang、Simon Guo 和 Will Hu 领导的 KernelBench 项目提供了一个包含 250 个问题的基准和研究环境，用于自动化 GPU 内核生成，并使用 Modal 在从 L40s 到 Blackwell 系统的硬件上实现一致、可扩展的基准测试。
Modal BlogAI 评分5555 Modal 公测推出 Directory Snapshots，用于保存 Sandbox 项目状态
Modal 公测推出 Directory Snapshots，允许用户对运行中的 Sandbox 内特定目录做快照，并将其挂载到另一个 Sandbox，且独立于基础镜像和文件系统其余部分。该功能面向需要在沙箱重启之间保留项目状态的编码智能体和 vibe coding 平台；Modal 表示，它可将系统依赖与应用代码分离、预热沙箱池，并更快预加载关键文件。Directory Snapshots 在最后一次使用后保留 30 天，可即时挂载，其内容在 Modal 的懒加载容器文件系统上会优先预加载。
Modal BlogAI 评分5858 Ramp 如何在 Modal 上构建全上下文后台编码代理 Ramp Inspect
Ramp 构建了 Ramp Inspect，这是一个运行在 Modal Sandboxes 上的内部后台编码代理，如今 Ramp 前端和后端仓库中约有一半已合并的拉取请求由它发起。每个会话都能在几秒内启动包含 Postgres、Redis、Temporal 和 RabbitMQ 的全栈环境，因为一个 Modal 定时任务每 30 分钟克隆仓库并保存文件系统快照。Modal Functions、Dicts 和 Queues 负责处理快照构建、会话锁和提示路由，使 Inspect 能够支持多人会话和数百个并发会话，且彼此互不影响。
Vapi BlogAI 评分5555 Vapi 推出 Composer，一款可在仪表盘内构建语音代理的 AI 助手
Vapi 发布了 Composer，这是一款内置于 Vapi Dashboard 的 AI 助手，可根据描述构建语音代理，撰写提示词、配置设置、开通电话号码、构建工具并设置集成。Composer 还可以调取通话日志来解释失败的通话并应用修复，以及生成在 Vapi 基础设施上运行的自定义代码工具，用于 HubSpot 等集成。它现已以 Alpha 版本提供，无需设置或引导流程。
Modal Blog精选AI 评分7878 Modal 上线 GLM-5 免费端点并发布自部署与前端接入指南
Modal 推出 GLM-5 的免费 OpenAI API 兼容端点，可用至 4 月底，限单个并发请求，同时发布在单节点 8 张 B200 上用 SGLang 部署的可复现代码。
推荐理由：Modal 为 Z.ai 的 GLM-5 提供免费 OpenAI 兼容端点，并给出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具体配置。
Modal BlogAI 评分2222 Modal 产品更新：AWS 与 GCP 市场上架、沙箱可观测性及客户端更新
Modal 现可通过 AWS 和 Google Cloud 市场购买，企业客户可将现有云支出承诺用于 Modal 使用量。平台还发布了沙箱 UI 更新，提供更清晰的资源和区域详情以及新的执行时间线，客户端 1.3.1 新增对 Python 3.14 的支持，包括在 Modal 容器中实验性支持自由线程 Python（3.14t）。
FactoryAI 评分5858 Factory 推出 Agent Readiness，用于评估代码库对 AI 编码智能体的支持程度
Factory 推出了 Agent Readiness，它从八个技术支柱和五个成熟度等级评估代码库对自主开发的支持程度，可通过 Droid 中的 /readiness-report、组织仪表盘或 API 运行。每项标准均为二值判定，只有当某一等级 80% 的标准以及所有先前等级全部通过时，该等级才会解锁；将每次评估建立在仓库此前的报告之上，使 9 个基准仓库在六周内的评分方差从平均 7% 降至 0.6%。报告可触发一个智能体，由其发起拉取请求来修复未通过的标准，例如缺少 AGENTS.md、linter 配置或 pre-commit 钩子。
Modal BlogAI 评分2222 Chai Discovery 在 Modal 上扩展计算药物发现
Chai Discovery 正在使用 Modal 运行其机器学习药物发现流水线，涵盖蛋白质嵌入、多序列比对到抗体设计。Modal Volumes 一次性下载并索引达到数百 GB 的数据集，然后在多台机器间共享，而弹性 GPU 扩展能在几分钟内启动数百个 GPU。Chai 表示，同一套设置现在无需重写基础设施就能将研究工作流带入生产环境。
OpenAI Developers BlogAI 评分4242 OpenAI 发布面向开发者文档的 Docs MCP Server
OpenAI 发布了一个公开的 Model Context Protocol (MCP) 服务器，让 agent 以只读方式访问 developers.openai.com、platform.openai.com 和 learn.chatgpt.com 上的开发者文档。该服务器仅用于文档，不会代表用户调用 OpenAI API。开发者可以通过 CLI 或 IDE 扩展，用一份共享配置将其添加到 Codex，并与 OpenAI Docs Skill 搭配使用以获得带引用的回答。
Modal BlogAI 评分3838 Modal 如何在多云环境下维护 20,000+ 块 GPU 的健康运行
Modal 已将其多云 GPU 工作池扩展到超过 20,000 块并发 GPU，并在过去几年中启动了超过四百万个云实例，现在正分享其背后的可靠性系统。该文章涵盖实例类型测试与选择、机器镜像准备与启动检查、被动与主动 GPU 健康检查，以及可观测性与支持。文章报告了超大规模云厂商之间的差异，例如云 A 的启动成功率为 99.6%，而云 C 的 H100 在 2025 年运行温度超过 90ºC。
Vapi BlogAI 评分3838 Vapi Voices Beta 发布，面向高并发语音 AI，每分钟 0.0025 美元
Vapi 发布了 Vapi Voices Beta，这是一系列专为高并发、成本敏感的语音 AI 用例构建的语音模型，定价为每分钟 0.0025 美元，延迟针对对话响应性进行了优化。这些模型出现在现有的语音下拉菜单中，与 ElevenLabs、PlayHT 和 Deepgram 等提供商并列，因此团队可以将预约提醒和路由菜单等高并发、低风险流程路由到这些模型，而无需任何集成更改。Vapi 表示，正式可用性取决于 beta 使用所揭示的用例、真实负载下的延迟以及节省是否重要。
Modal BlogAI 评分4242 Modal 为 Mistral 3 增加 Day 0 支持，并通过 GPU 快照实现 10 倍更快的冷启动
Modal 现已提供对 Mistral 3 的 Day 0 支持，让开发者无需管理基础设施即可在无服务器 GPU 上部署该开放模型系列。在 3B 的 Ministral 3 模型上，Modal 的 GPU 快照功能将中位冷启动时间从约 118 秒缩短至约 12 秒，降幅接近 10 倍。Ministral 3 提供 3B、8B 和 14B 三种规模，在基准测试中与 Qwen 3-VL 系列表现相当。
Modal BlogAI 评分2222 Modal 谈为何编码智能体也需要良好的开发者体验
Modal 认为，那些帮助人类的开发者体验原则——紧密的反馈循环、通过 CLI/SDK/API 的程序化访问、可操作的错误信息，以及与代码一致的示例——同样能让编码智能体更快。由于智能体通过生成、运行和观察代码来迭代，模糊的错误或仅限 UI 的配置会让它们停滞，因此为智能体设计意味着应用同样的原则，而不是重新发明它们。
Vapi BlogAI 评分4242 Vapi 新增结构化输出，可从语音 AI 通话中提取经 schema 校验的数据
Vapi 现已为所有语音 AI 助手支持结构化输出，确保每通电话返回的数据都符合开发者定义的 JSON schema。Schema 在运行时借助 OpenAI、Anthropic、Gemini 等厂商的原生能力强制执行，并可在多个助手之间复用。提取的数据会通过通话完成 webhook 和 REST API 送达。
Replit BlogAI 评分4242 Replit 推出 Fast Mode，让 Agent 编辑更快、更便宜
Replit 推出了 Fast Mode，这是一种更快的方式，用于指示其 Agent 进行小型、精确的更改。它运行在一个高效的 agentic 模型上，比 Build 模式便宜得多，并经过优化以用最少的步骤完成请求，面向快速修复、视觉迭代和小型功能。Fast Mode 从今天起对所有 Replit 用户开放，通过闪电图标激活。
Modal BlogAI 评分3030 Reducto 如何在 Modal 上将企业文档处理的 P90 延迟降低 3 倍
Reducto 将其 30 多个文档处理模型的推理工作负载迁移到 Modal，使 P90 延迟降低了 3 倍。GPU 内存快照将冷启动减少了 83%，从约 70 秒降至约 12 秒，而按客户划分的自动扩缩容池可隔离流量峰值。在一次负载测试中，Reducto 在不到一小时内将摄取流水线扩展到 1,000 多块 GPU，以展示每分钟 10 万页的处理能力。
Modal BlogAI 评分3636 Modal 博客：主机开销正在扼杀你的推理效率
Modal 的博客解释了主机开销——即 GPU 空闲等待 CPU 准备工作的时间间隙——如何在 AI 推理中表现为 GPU 内核利用率低下。当主机开销达到 50% 时，GPU 推理成本是原本的 2 倍。文章详细介绍了生产级开源推理引擎中采用的修复方法，包括在设备上构建张量而非传输张量，以及减少不必要的 CUDA 内核启动。
Modal BlogAI 评分4040 Decagon 如何在 Modal 上交付实时语音 AI
Decagon 与 Modal 合作构建了 Decagon Voice 2.0，将延迟降低 65%，同时提升了意图识别和响应质量。Decagon 通过 SFT 和 RL 微调紧凑的开源模型，使其超越更大的前沿模型；Modal 则训练了自定义 EAGLE3 草稿模型，接受长度提高 38%，并重新设计了 SGLang，加入异步投机解码调度器，将吞吐量提升最高 12%。
Modal BlogAI 评分5858 Modal、Pipecat 与开源模型实现一秒语音到语音延迟
Modal 的 Ben Shababo 详细介绍了如何用开源 Pipecat 框架和开放权重模型在 Modal 上构建对话语音机器人，当客户端与容器地理位置接近时，语音到语音延迟中位数约为 1 秒。该流水线使用 NVIDIA parakeet-tdt-0.6b-v3 做 STT，用 vLLM 服务 Qwen3-4B-Instruct-2507，用 KokoroTTS 做语音输出，并用 ChromaDB 搭配 all-minilm-l6-v2 在 Modal 文档上做 RAG。Modal Tunnels 绕过输入平面，为 STT、TTS 和 vLLM 服务提供低延迟的 WebSocket 和 HTTP 连接；同时，与每个对话会话绑定的 FunctionCall 恢复了自动扩缩容能力，而将服务固定到附近区域则降低了网络延迟。
Modal BlogAI 评分2222 Modal 更新 Volumes v2、JavaScript 和 Go SDK 至测试版
Modal 已面向所有应用发布 Volumes v2 公开测试版，其重建的文件系统带来更高吞吐量、更快的随机访问，以及支持数百个容器真正的高并发写入，且存储文件数量不设上限。其 JavaScript/TypeScript 和 Go SDK 也以 v0.5 进入测试版，新增统一的 Client 对象，并支持 Sandboxes、Functions、Images 和 Volumes。
Modal BlogAI 评分3838 Modal 与 Datalab：5 分钟内即可部署 Marker 和 Surya 文档智能
Modal 已与 Datalab 合作，让开发者能在 5 分钟内于 Modal GPU 上部署 Marker 文档解析模型和 Surya OCR 工具包。Marker 是一个参数量低于十亿的模型，支持 90 多种语言，在 Modal 上运行每个容器约可达每秒 2.2 页，大约是使用 Apple MPS 的 M4 Mac 上每秒 0.22 页的 10 倍。Datalab 的工具对研究、个人使用以及融资或营收低于 200 万美元的初创公司保持免费，同时提供商业许可。
Vapi BlogAI 评分2828 Vapi 提供一周免费的 Cartesia Sonic-3 TTS
从 10 月 28 日到 11 月 2 日，Vapi 通过其托管 API 密钥，向社区免费开放 Cartesia 新推出的 Sonic-3 TTS 模型的无限制访问。Sonic-3 新增了情绪和笑声标签、细粒度的语速和音量控制，并支持 27 种新语言。Vapi 建议从 Kira 和 Ariana 语音开始，以获得低延迟、听起来自然的智能体。
Modal Blog精选AI 评分6060 Modal工程师逆向解析Flash Attention 4的工作原理
Modal工程师阅读了已发布的Flash Attention 4源代码，逆向解析了这个针对Blackwell优化的注意力内核的工作原理，因为目前尚无官方技术报告。文章追踪了一个tile在内核的warp特化异步流水线中的流转过程，并详述了两个数学技巧：一个可替代基于SFU的指数运算的三次多项式软件指数，以及一个更聪明的在线softmax重缩放规则——Tri Dao称其将修正次数减少了10倍。据报道，FA4比Nvidia闭源的cudnn注意力内核快约20%，而在撰写本文时反向版本尚不可用。
推荐理由：Modal工程师阅读了已发布的Flash Attention 4源代码，解释了其warp特化流水线和两个数学技巧，提供了一个关于CUDA内核设计走向的可迁移视角。
Modal BlogAI 评分3838 Modal Vibe：一个基于 Modal Sandboxes 构建的 AI 编程平台，5 分钟内可扩展至 1,000 个应用
Modal 构建了 Modal Vibe，这是一个基于 Modal Sandboxes 的开源演示型 vibe 编程平台，可在约五分钟内从 0 扩展到 1,000 个 AI 编码应用。一次创建 1,000 个应用（每个应用位于各自的 Sandbox 中）的负载测试耗时约 300 秒，其中 AI API 是限速环节。Modal 表示，Team Plan 可运行 1,000 个并发 Sandbox，足以支持每月超过一百万次会话。
Modal BlogAI 评分2020 Modal 产品更新：Notebooks、沙箱空闲超时和客户端变更
Modal 发布了多项产品更新，包括支持最高 8 块 B200 GPU 的云端 Python 实验环境 Modal Notebooks，以及为 modal.Sandbox.create() 新增的可选 idle_timeout 参数。客户端还为 @app.function() 和 @app.cls() 装饰器新增了 startup_timeout 参数，并提供了用于以命令式方式管理 Modal 资源类型的新 API 模式。Modal Notebooks 此后已被关停，但现有 notebook 仍可下载为 .ipynb 文件。
Modal BlogAI 评分4747 深入 Modal Notebooks：Modal 如何打造秒级启动的云 GPU Notebook
Modal 详细介绍了 Modal Notebooks 背后的工程实现：这款云端 Jupyter notebook 能在数秒内启动 GPU 和自定义镜像，并支持实时协作。内核运行在 Modal Sandboxes 内，由一个 modal-kernelshim 守护进程将 Jupyter ZeroMQ 消息转换为通过 Modal 控制平面隧道的 HTTP 调用。一个惰性加载的 Rust FUSE 容器文件系统通过分层缓存按需获取文件内容，从而避免了镜像解包延迟——对于 8 GB 的 Python/ML 镜像，该延迟可能接近一分钟。
Modal BlogAI 评分5858 Modal 推出 Notebooks，GPU 内核启动时间不到 5 秒
Modal Notebooks 在上个月有限测试后，现已向所有 Modal 客户全面开放。这个协作式笔记本环境运行在支持 GPU 的 Python 内核上，可在任意容器镜像和最高 256 vCPU、8 块 H100/B200 GPU 的硬件上于 5 秒内达到就绪状态，并具备自动空闲关机、共享 Volumes 和 Secrets 以及实时多光标编辑功能。Modal 表示，在 8 月测试期间，超过 5,000 个账户运行了 200,000 个代码单元，即将推出的功能包括内存快照、一键导出到 Modal Apps 以及定时运行。
Modal BlogAI 评分2222 Zencastr 如何借助 Modal 在几天内转录数百年的音频
Zencastr 将其播客转录工作负载迁移到 Modal 的 GPU 平台，在几分钟内扩展到 1,500 个并发 GPU，仅用几天时间就处理了数百年的音频。从自管理的 Kubernetes GPU 节点转向 Modal 的缩容到零基础设施，降低了空闲 GPU 成本，并消除了驱动程序和依赖管理的开销。所有核心 ML 工作负载现在都在 Modal 上运行，包括转录、说话人计数、笑声检测和音频质量评分。
Modal BlogAI 评分3838 Modal 产品更新：GPU 内存快照、Notebooks、服务令牌等
Modal 以 alpha 形式新增 GPU 内存快照，通过跳过 Torch 编译等步骤，将 GPU 工作负载的冷启动时间缩短 10 倍，可通过 enable_gpu_snapshot 选项启用。此次更新还带来处于 beta 阶段的 Modal Notebooks，可在浏览器中运行 Python；面向工作区管理员的 Service Tokens；以及为已部署 Functions 提供的浏览器生成 UI。
Modal Blog精选AI 评分6060 Modal 推出 GPU 内存快照，实现亚秒级无服务器冷启动
Modal 宣布推出 alpha 版 GPU 内存快照，将其现有的检查点/恢复系统扩展至捕获 GPU 显存、CUDA 内核、流和上下文，使 GPU 工作负载从冻结状态恢复，而非在启动后重建 CUDA 状态。
推荐理由：Modal 将 GPU 状态加入其内存快照，使 torch.compile 和 vLLM 工作负载的冷启动时间最多缩短 10 倍，并让缩容至零更具实用性。
Modal BlogAI 评分3636 什么是 AI 代码沙箱？
AI 代码沙箱是一个隔离环境，在运行时执行 LLM 生成的代码，将错误或注入漏洞的影响范围限制在沙箱内。现代实现运行在虚拟机或容器上，通常使用 gVisor 等安全运行时来拦截系统调用并保护主机。大多数公司选择托管沙箱服务，而不是用 Kubernetes 自建，因为冷启动和扩展到数百万并发会话的处理成本很高。