Modal 发布 JavaScript 和 Go 的 alpha SDK
Modal 发布了其官方 JavaScript 和 Go SDK 的 alpha 版本,让开发者可以从 Node、Next.js 或 Go 服务中调用已部署的 Modal Functions 并创建隔离沙箱,而无需编写 Python。这些 SDK 无法部署函数,部署函数仍需使用 Python,且目前仅支持类 JSON 或 bytes 数据类型。Modal 表示,无论使用哪种语言,都能无问题地运行 10,000 个沙箱。
Modal 发布了其官方 JavaScript 和 Go SDK 的 alpha 版本,让开发者可以从 Node、Next.js 或 Go 服务中调用已部署的 Modal Functions 并创建隔离沙箱,而无需编写 Python。这些 SDK 无法部署函数,部署函数仍需使用 Python,且目前仅支持类 JSON 或 bytes 数据类型。Modal 表示,无论使用哪种语言,都能无问题地运行 10,000 个沙箱。
Lemon Slice 构建了 Lemon Slice Live,这是一款用于与 AI 角色进行实时视频对话的产品,使用 Modal 和 Daily 的低延迟原语,实现端到端视频响应延迟 3-6 秒。该流水线在独立的 Modal 容器上运行 Pipecat 服务器和一个 10 亿参数的视频模型,这些容器通过 Modal 的 Tunnel 通信,并通过区域选择实现同地部署,由 Deepgram、Grok 和 ElevenLabs 负责语音转文本、LLM 响应和文本转语音。此前,两个 Python Modal Functions 让 Lemon Slice 扩展到每小时 10,000 次请求,而无需管理 ECS 集群、作业队列或负载均衡器。
Vapi 现已支持短信,使其语音 AI 智能体能够在通话过程中收发文本消息。智能体可以实时回复收到的短信,在对话中途从语音切换到文本,并运行完全基于文本的流程;短信目前仅支持 Twilio。
Vapi 发布了 Vapi MCP Server,让 AI 智能体工具通过函数调用触发实时语音流程和外呼。它支持 Claude Desktop 集成以及通过 SSE 进行远程访问,因此用户可以用自然语言让 Claude 拨打电话或安排跟进。该服务器可通过 @vapi-ai/mcp-server 获取,支持本地运行或通过托管的 SSE 端点访问。
Modal 现在允许每个 Function 最多排队 100 万个输入(此前为 2k),并提高了 .spawn() 速率限制,FunctionCall 结果保留 7 天。此次更新还增加了在容器内通过 app.run() 创建临时应用、CLI 和仪表板中应用的 Git 提交信息,以及一个新的 TensorRT-LLM 示例,以低于 400 毫秒的延迟提供 LLM 服务。
Modal 将 GPU、CPU 和内存价格下调最高 65%,Team 套餐用户现在最多可同时运行 50 个 GPU。从 0.73.46 版本起,Modal SDK 已上线 conda-forge,并计划发布 1.0 版客户端。Modal 还发布了 LTX-Video 图生视频示例,并推出了新标志。
Modal 推出了全新改版的日志仪表盘,支持按时间范围输入筛选;提供实时容器性能分析,用于调试卡住的容器或输入;以及 Debug Shells,可在运行中的容器内执行 vim、ps 和 strace 等命令。区域选择现已在所有套餐中提供,定价为基础价格乘以一个系数,客户端还通过新增的 oidc_auth_role_arn 字段为云存储桶挂载增加了 OIDC 认证。
Modal 为其无服务器 GPU 容器运行时引入了内存快照恢复功能,称其冷启动速度比标准容器启动快约 2.5 倍。一个通常需要约 13 秒的 Stable Diffusion 推理 Function 现在可在 3.5 秒内恢复,而一个简单的 import torch 程序在 p50 下从约 5 秒降至约 1.05 秒,在 p0 下降至 0.69 秒。快照基于 gVisor 的 checkpoint/restore 构建,按需创建,当恢复失败时会自动回退到标准容器启动;GPU 状态尚未保存,因此必须在恢复后重建。
推荐理由:Modal 解释了基于 gVisor 的内存快照如何缩短无服务器冷启动,并给出了 Stable Diffusion Function 和 torch import 示例的具体恢复耗时。
Modal 现已提供 NVIDIA L40S GPU,价格为每小时 1.95 美元,配备 48GB 内存,与 A10 GPU 相比,内存密集型任务性能最高提升 40%,计算密集型任务加速超过 100%。该平台还新增了用于限制 Web 端点访问的代理认证令牌、面向沙箱的文件系统 API,以及磁盘快照功能,允许用户从快照创建新的沙箱实例以消除冷启动。Modal 还宣布已完成 SOC 2 Type 2 认证。
Modal 宣布 Sandboxes 正式可用,这是其用于在与其它 Modal 资源隔离的环境中安全运行来自 LLM、用户或第三方来源的不可信代码的基础组件。Sandboxes 提供简单的 exec API、通过 Image API 实现运行时可配置的环境,以及用于持久化的文件系统快照。Modal 还将支持上游贡献至 SWE-bench,其中 --modal 标志可让 Verified 基准的 500 个任务在大约 7 分钟内运行完成,并列举 Quora 的 Poe、Codegen 和 Relevance AI 作为客户。
Modal 发布了一轮产品更新,核心是其 beta 内存快照功能的重大升级,据称可将 Stable Diffusion 等模型的冷启动时间缩短一半。该平台还新增了对 OpenID Connect 的支持以提供短期身份令牌,支持 eStargz 镜像压缩以加快从 ECR 和 Docker Hub 等注册表的构建速度,并将异步任务队列的输入上限从 2k 扩展至 100 万。
Modal 现向所有用户提供 NVIDIA L40S GPU,价格为每小时 1.95 美元,定位为其最受欢迎的推理加速器 A10 的更快、更大内存替代方案。L40S 将 GPU 内存翻倍至 48GB,使 Flux.1-schnell 等模型能在单块 GPU 上以 16bit 精度运行,并在内存受限任务上带来约 40% 的加速,在计算受限的 16bit Tensor Core 任务上加速超过 100%。
Modal 推出了静态 IP 代理,可通过工作区专属 IP 路由出站流量,此外还提供原生 Slack 集成用于实时应用告警,以及一个实时用量仪表盘,可跟踪所有工作区应用的资源使用情况。此次更新还为函数增加了 GPU 回退,扩大了函数可调度到的资源池,并包含客户端变更,例如 `modal shell` 容器 ID 以及针对参数化函数的内存快照。
Modal 新增了原生动态批处理支持,推理函数可通过单个 @modal.batched() 装饰器并配合 max_batch_size 和 wait_ms 参数来对请求进行分组。在 A10G 上运行 OpenAI 的 Whisper large v3 时,max_batch_size 设为 64 使每个容器的吞吐量从约 1.2 提升至约 3.3 请求/秒,并将推理成本降低了 65%。
Modal 推出了应用回滚功能,用户可从仪表盘或 CLI 将已部署的应用恢复到之前的版本;同时推出 @batched 装饰器,可将请求累积成动态大小的批次,以延迟换取吞吐量和 GPU 利用率。Sandbox 对象现在可以将 TCP 端口转发到互联网并执行额外进程,日志可导出到 OpenTelemetry 提供商。CPU 核心和高端 GPU 的价格也有所下降。
Cursor 实现了一个影子工作区,让 AI 在隐藏的 Electron 窗口中应用编辑并读回 lint 结果,而不触碰用户的编辑会话。文章概述了 LSP 可用性、独立性、隐私、并发和速度等设计目标,并解释了为何复制 TextModel 或运行独立语言服务器行不通。文章还勾勒了未来用于可运行性的内核级文件夹代理,并指出 macOS 和 Windows 缺乏可行的 FUSE 路径,且 Rust LSP 支持目前不可用。
Modal 将 CPU 和部分最强 GPU 的价格下调 15-30%,理由是 GPU 供应池竞争加剧,以及过去一年推出了更强大的 GPU。该公司还调整了 CPU/内存计费方式,改为按每个运行中的容器收取 max(预留, 用量),所有 Functions 的默认最低预留为 0.125 个 CPU 核心。Team 计划涨至每月 250 美元,包含不限席位和每月 100 美元额度,新价格将于 9 月对受影响的 Starter 和 Team/Enterprise 用户生效。
Modal 的月度产品更新新增了 Datadog 集成,只需一键即可转发应用日志和审计日志;同时支持为函数选择云区域,以满足监管、出网成本或数据库本地化需求。该公司还重构了函数调用系统,以实现更高吞吐量和显著更低的开销,面向低延迟的实时生产工作负载;并全面改版了应用详情页,新增时间区间缩放、容器状态和镜像文件系统视图。
Modal 的月度产品更新新增了针对 AWS S3 和 Cloudflare R2 存储桶的可写挂载、用于在指定端口托管非 ASGI/WSGI Web 服务器的 @web_server 装饰器,以及面向企业版用户的 Okta 单点登录。Web 仪表板中的卷查看器让用户可以浏览卷文件系统,最新客户端则通过 .include 支持多文件应用组合、分区队列,以及为 Sandboxes 提供 stdin 支持。
Modal 现已支持 WebSocket 连接,使其平台上的函数能够在客户端与服务器之间维持持久、双向的链路,而非按请求建立的 HTTP 连接。每个 WebSocket 连接计为一次输入,因此不受 CPU/GPU 限制的函数应允许并发输入,否则 Modal 会为每个连接启动一个新容器。Modal 会自动扩缩 WebSocket 处理程序,面向实时流式传输、长时间运行任务的进度更新,以及托管 ComfyUI、Streamlit 和 Gradio 等框架。
Modal 已为其函数添加 WebSocket 支持,可开箱即用地托管 Streamlit 等框架,并可通过 `modal container exec` 执行交互式命令,以检查和调试活动容器。H100 GPU 现已在 Modal 上可用,客户端更新新增了 `@build` 生命周期钩子、Volumes 的自动后台提交,以及包括 get、put 和 rm 在内的扩展 CLI 命令。
Modal 已向所有用户开放 NVIDIA H100 GPU,每 GPU 每小时定价 7.65 美元。NVIDIA 基准测试显示,相比 A100,H100 的训练速度最高可提升 4 倍,推理速度最高可提升 30 倍,配备 80 GB 片上 DRAM,最多 8 块 GPU 可通过 NVLink 以 3.6 TB/s 互联。用户只需在 Modal 装饰器中把 GPU 类型设为 "H100" 即可启用。