跳到正文
2025年4月30日周三
  1. Modal Blog38

    Modal 发布 JavaScript 和 Go 的 alpha SDK

    Modal 发布了其官方 JavaScript 和 Go SDK 的 alpha 版本,让开发者可以从 Node、Next.js 或 Go 服务中调用已部署的 Modal Functions 并创建隔离沙箱,而无需编写 Python。这些 SDK 无法部署函数,部署函数仍需使用 Python,且目前仅支持类 JSON 或 bytes 数据类型。Modal 表示,无论使用哪种语言,都能无问题地运行 10,000 个沙箱。

2025年4月24日周四
  1. Modal Blog22

    Lemon Slice 如何用 Modal 和 Daily 构建实时生成式视频

    Lemon Slice 构建了 Lemon Slice Live,这是一款用于与 AI 角色进行实时视频对话的产品,使用 Modal 和 Daily 的低延迟原语,实现端到端视频响应延迟 3-6 秒。该流水线在独立的 Modal 容器上运行 Pipecat 服务器和一个 10 亿参数的视频模型,这些容器通过 Modal 的 Tunnel 通信,并通过区域选择实现同地部署,由 Deepgram、Grok 和 ElevenLabs 负责语音转文本、LLM 响应和文本转语音。此前,两个 Python Modal Functions 让 Lemon Slice 扩展到每小时 10,000 次请求,而无需管理 ECS 集群、作业队列或负载均衡器。

2025年4月22日周二
2025年4月18日周五
  1. Vapi Blog40

    Vapi 推出 MCP Server,可从 Claude Desktop 和 Cursor 控制语音智能体

    Vapi 发布了 Vapi MCP Server,让 AI 智能体工具通过函数调用触发实时语音流程和外呼。它支持 Claude Desktop 集成以及通过 SSE 进行远程访问,因此用户可以用自然语言让 Claude 拨打电话或安排跟进。该服务器可通过 @vapi-ai/mcp-server 获取,支持本地运行或通过托管的 SSE 端点访问。

2025年4月17日周四
  1. Modal Blog25

    Modal 产品更新:100 万输入批处理作业、临时应用和 TensorRT-LLM 示例

    Modal 现在允许每个 Function 最多排队 100 万个输入(此前为 2k),并提高了 .spawn() 速率限制,FunctionCall 结果保留 7 天。此次更新还增加了在容器内通过 app.run() 创建临时应用、CLI 和仪表板中应用的 Git 提交信息,以及一个新的 TensorRT-LLM 示例,以低于 400 毫秒的延迟提供 LLM 服务。

2025年3月17日周一
2025年2月14日周五
  1. Modal Blog22

    Modal 产品更新:Logs v2、实时容器性能分析,以及所有套餐均可选择区域

    Modal 推出了全新改版的日志仪表盘,支持按时间范围输入筛选;提供实时容器性能分析,用于调试卡住的容器或输入;以及 Debug Shells,可在运行中的容器内执行 vim、ps 和 strace 等命令。区域选择现已在所有套餐中提供,定价为基础价格乘以一个系数,客户端还通过新增的 oidc_auth_role_arn 字段为云存储桶挂载增加了 OIDC 认证。

2025年1月28日周二
  1. Modal Blog62

    Modal 增加内存快照,将无服务器冷启动缩短 2.5 倍

    Modal 为其无服务器 GPU 容器运行时引入了内存快照恢复功能,称其冷启动速度比标准容器启动快约 2.5 倍。一个通常需要约 13 秒的 Stable Diffusion 推理 Function 现在可在 3.5 秒内恢复,而一个简单的 import torch 程序在 p50 下从约 5 秒降至约 1.05 秒,在 p0 下降至 0.69 秒。快照基于 gVisor 的 checkpoint/restore 构建,按需创建,当恢复失败时会自动回退到标准容器启动;GPU 状态尚未保存,因此必须在恢复后重建。

    推荐理由:Modal 解释了基于 gVisor 的内存快照如何缩短无服务器冷启动,并给出了 Stable Diffusion Function 和 torch import 示例的具体恢复耗时。

2025年1月21日周二
  1. Modal Blog20

    Modal 产品更新:L40S GPU、代理认证令牌和沙箱磁盘快照

    Modal 现已提供 NVIDIA L40S GPU,价格为每小时 1.95 美元,配备 48GB 内存,与 A10 GPU 相比,内存密集型任务性能最高提升 40%,计算密集型任务加速超过 100%。该平台还新增了用于限制 Web 端点访问的代理认证令牌、面向沙箱的文件系统 API,以及磁盘快照功能,允许用户从快照创建新的沙箱实例以消除冷启动。Modal 还宣布已完成 SOC 2 Type 2 认证。

  2. Modal Blog58

    Modal Sandboxes 正式可用,为 LLM 与用户代码提供隔离执行环境

    Modal 宣布 Sandboxes 正式可用,这是其用于在与其它 Modal 资源隔离的环境中安全运行来自 LLM、用户或第三方来源的不可信代码的基础组件。Sandboxes 提供简单的 exec API、通过 Image API 实现运行时可配置的环境,以及用于持久化的文件系统快照。Modal 还将支持上游贡献至 SWE-bench,其中 --modal 标志可让 Verified 基准的 500 个任务在大约 7 分钟内运行完成,并列举 Quora 的 Poe、Codegen 和 Relevance AI 作为客户。

2024年12月28日周六
  1. Modal Blog22

    Modal 产品更新:更快的内存快照、OIDC、异步任务队列

    Modal 发布了一轮产品更新,核心是其 beta 内存快照功能的重大升级,据称可将 Stable Diffusion 等模型的冷启动时间缩短一半。该平台还新增了对 OpenID Connect 的支持以提供短期身份令牌,支持 eStargz 镜像压缩以加快从 ECR 和 Docker Hub 等注册表的构建速度,并将异步任务队列的输入上限从 2k 扩展至 100 万。

2024年12月19日周四
  1. Modal Blog25

    Modal 新增 NVIDIA L40S GPU,AI 推理每小时 1.95 美元

    Modal 现向所有用户提供 NVIDIA L40S GPU,价格为每小时 1.95 美元,定位为其最受欢迎的推理加速器 A10 的更快、更大内存替代方案。L40S 将 GPU 内存翻倍至 48GB,使 Flux.1-schnell 等模型能在单块 GPU 上以 16bit 精度运行,并在内存受限任务上带来约 40% 的加速,在计算受限的 16bit Tensor Core 任务上加速超过 100%。

2024年11月8日周五
  1. Modal Blog22

    Modal 产品更新:静态 IP 代理、Slack 集成、实时用量仪表盘和 GPU 回退

    Modal 推出了静态 IP 代理,可通过工作区专属 IP 路由出站流量,此外还提供原生 Slack 集成用于实时应用告警,以及一个实时用量仪表盘,可跟踪所有工作区应用的资源使用情况。此次更新还为函数增加了 GPU 回退,扩大了函数可调度到的资源池,并包含客户端变更,例如 `modal shell` 容器 ID 以及针对参数化函数的内存快照。

2024年9月16日周一
2024年9月6日周五
  1. Modal Blog22

    Modal 产品更新:应用回滚、动态批处理、沙箱隧道与 OpenTelemetry

    Modal 推出了应用回滚功能,用户可从仪表盘或 CLI 将已部署的应用恢复到之前的版本;同时推出 @batched 装饰器,可将请求累积成动态大小的批次,以延迟换取吞吐量和 GPU 利用率。Sandbox 对象现在可以将 TCP 端口转发到互联网并执行额外进程,日志可导出到 OpenTelemetry 提供商。CPU 核心和高端 GPU 的价格也有所下降。

2024年9月2日周一
  1. Cursor Changelog58

    Cursor 详述用于后台 AI 代码迭代的 Shadow Workspace

    Cursor 实现了一个影子工作区,让 AI 在隐藏的 Electron 窗口中应用编辑并读回 lint 结果,而不触碰用户的编辑会话。文章概述了 LSP 可用性、独立性、隐私、并发和速度等设计目标,并解释了为何复制 TextModel 或运行独立语言服务器行不通。文章还勾勒了未来用于可运行性的内核级文件夹代理,并指出 macOS 和 Windows 缺乏可行的 FUSE 路径,且 Rust LSP 支持目前不可用。

2024年8月6日周二
  1. Modal Blog42

    Modal 将 CPU 和 GPU 价格下调 15-30%

    Modal 将 CPU 和部分最强 GPU 的价格下调 15-30%,理由是 GPU 供应池竞争加剧,以及过去一年推出了更强大的 GPU。该公司还调整了 CPU/内存计费方式,改为按每个运行中的容器收取 max(预留, 用量),所有 Functions 的默认最低预留为 0.125 个 CPU 核心。Team 计划涨至每月 250 美元,包含不限席位和每月 100 美元额度,新价格将于 9 月对受影响的 Starter 和 Team/Enterprise 用户生效。

2024年7月9日周二
  1. Modal Blog22

    Modal 产品更新:Datadog 集成、区域选择、更低的函数延迟

    Modal 的月度产品更新新增了 Datadog 集成,只需一键即可转发应用日志和审计日志;同时支持为函数选择云区域,以满足监管、出网成本或数据库本地化需求。该公司还重构了函数调用系统,以实现更高吞吐量和显著更低的开销,面向低延迟的实时生产工作负载;并全面改版了应用详情页,新增时间区间缩放、容器状态和镜像文件系统视图。

2024年5月7日周二
  1. Modal Blog18

    Modal 产品更新:云存储桶挂载、Okta SSO 等

    Modal 的月度产品更新新增了针对 AWS S3 和 Cloudflare R2 存储桶的可写挂载、用于在指定端口托管非 ASGI/WSGI Web 服务器的 @web_server 装饰器,以及面向企业版用户的 Okta 单点登录。Web 仪表板中的卷查看器让用户可以浏览卷文件系统,最新客户端则通过 .include 支持多文件应用组合、分区队列,以及为 Sandboxes 提供 stdin 支持。

2024年2月27日周二
  1. Modal Blog38

    Modal 为实时应用新增 WebSocket 支持

    Modal 现已支持 WebSocket 连接,使其平台上的函数能够在客户端与服务器之间维持持久、双向的链路,而非按请求建立的 HTTP 连接。每个 WebSocket 连接计为一次输入,因此不受 CPU/GPU 限制的函数应允许并发输入,否则 Modal 会为每个连接启动一个新容器。Modal 会自动扩缩 WebSocket 处理程序,面向实时流式传输、长时间运行任务的进度更新,以及托管 ComfyUI、Streamlit 和 Gradio 等框架。

2024年2月15日周四
  1. Modal Blog22

    Modal 产品更新:支持 WebSocket、交互式命令和 H100 GPU

    Modal 已为其函数添加 WebSocket 支持,可开箱即用地托管 Streamlit 等框架,并可通过 `modal container exec` 执行交互式命令,以检查和调试活动容器。H100 GPU 现已在 Modal 上可用,客户端更新新增了 `@build` 生命周期钩子、Volumes 的自动后台提交,以及包括 get、put 和 rm 在内的扩展 CLI 命令。

2024年2月6日周二
  1. Modal Blog38

    Modal 向所有用户开放 NVIDIA H100 GPU

    Modal 已向所有用户开放 NVIDIA H100 GPU,每 GPU 每小时定价 7.65 美元。NVIDIA 基准测试显示,相比 A100,H100 的训练速度最高可提升 4 倍,推理速度最高可提升 30 倍,配备 80 GB 片上 DRAM,最多 8 块 GPU 可通过 NVLink 以 3.6 TB/s 互联。用户只需在 Modal 装饰器中把 GPU 类型设为 "H100" 即可启用。