Lemon Slice 构建了 Lemon Slice Live，这是一款用于与 AI 角色进行实时视频对话的产品，使用 Modal 和 Daily 的低延迟原语，实现端到端视频响应延迟 3-6 秒。该流水线在独立的 Modal 容器上运行 Pipecat 服务器和一个 10 亿参数的视频模型，这些容器通过 Modal 的 Tunnel 通信，并通过区域选择实现同地部署，由 Deepgram、Grok 和 ElevenLabs 负责语音转文本、LLM 响应和文本转语音。此前，两个 Python Modal Functions 让 Lemon Slice 扩展到每小时 10,000 次请求，而无需管理 ECS 集群、作业队列或负载均衡器。
Vapi 现已支持短信，使其语音 AI 智能体能够在通话过程中收发文本消息。智能体可以实时回复收到的短信，在对话中途从语音切换到文本，并运行完全基于文本的流程；短信目前仅支持 Twilio。
sync. 正利用 Modal 每天对超过 100 小时的视频进行唇形同步，将长视频拆分为场景，在 n 个 T4 GPU 容器上运行人脸检测和翻译，再将每个场景交给其基于 A100 的专有 LipSync GenAI 模型处理。该团队每天部署多达 95 次，并在一年内将 10 个主要模型变体投入生产，此前他们从 Google Colab 原型和 AWS Lambda 迁移而来。
Vapi 发布了 Vapi MCP Server，让 AI 智能体工具通过函数调用触发实时语音流程和外呼。它支持 Claude Desktop 集成以及通过 SSE 进行远程访问，因此用户可以用自然语言让 Claude 拨打电话或安排跟进。该服务器可通过 @vapi-ai/mcp-server 获取，支持本地运行或通过托管的 SSE 端点访问。
Modal 现在允许每个 Function 最多排队 100 万个输入（此前为 2k），并提高了 .spawn() 速率限制，FunctionCall 结果保留 7 天。此次更新还增加了在容器内通过 app.run() 创建临时应用、CLI 和仪表板中应用的 Git 提交信息，以及一个新的 TensorRT-LLM 示例，以低于 400 毫秒的延迟提供 LLM 服务。
Modal 公布了重新设计的标志和字标，同时启动其首个户外品牌宣传活动，三块广告牌在旧金山各地投放至五月底。新标志由 Ty Wilkins 参与设计，取代了原先细线条的立方体“M”，以确保从网站图标到广告牌都清晰可辨。此次宣传将 Modal 定位为 AI 基础设施平台，这家总部位于纽约的公司选择旧金山以触达科技与 AI 的核心地带。
GSD at Work 的顾问 Christian Ulstrup 使用 Vapi 语音 AI 代理，为其 AI Action Sessions 工作坊打造了一套异步语音接待系统，取代了原先预约的探索电话。参与者可在方便时拨打专用的 Vapi 电话线，转录文本和 AI 生成的摘要通过 Zapier 流入 Slack，并记录在 HubSpot 中。在最近一位客户的项目中，来自全球的 20 位参与者贡献了超过 3 小时的探索内容，该场次获得了 5 分（满分 5 分）的评价。
Modal 将 GPU、CPU 和内存价格下调最高 65%，Team 套餐用户现在最多可同时运行 50 个 GPU。从 0.73.46 版本起，Modal SDK 已上线 conda-forge，并计划发布 1.0 版客户端。Modal 还发布了 LTX-Video 图生视频示例，并推出了新标志。
AI呼叫中心正在重塑客户支持：常规来电可在数秒内解决，而无需长时间等待，例如一次故障查询在30秒内得到处理。Gartner估计，到2027年约25%的客户服务交互将涉及AI，高于2022年的2%；到2027-2028年，该市场规模将达150-200亿美元，复合年增长率约为25-30%。文章涵盖传统呼叫中心的痛点，如响应速度慢、高峰时段话务激增和营业时间有限，以及AI自动化如何应对这些问题。
Modal 发布了一份指南，区分了通常被称为“GPU 利用率”的三件事：GPU 分配利用率（运行应用代码的 GPU 秒数占付费 GPU 秒数的比例）、GPU 内核利用率（在 GPU 上运行代码的时间占比）以及模型 FLOP/s 利用率（所使用的理论算术带宽的份额）。该指南聚焦于神经网络推理工作负载，Modal 将其称为收入中心而非成本中心。
Modal 已在 GitHub 上以 Creative Commons BY 4.0 许可证开源其 GPU Glossary，这是一个关于 GPU 编程主题的相互链接的短文汇编。该词汇表最初于两个月前发布，旨在填补跨栈 GPU 参考资料方面的空白，而社区提出的贡献请求促成了此次开源。该仓库的 GitHub Issues 已列出计划中的扩展内容，包括两个示例 matmul 内核以及一个关于 Thread Block Clusters 的章节。
Modal 推出了全新改版的日志仪表盘，支持按时间范围输入筛选；提供实时容器性能分析，用于调试卡住的容器或输入；以及 Debug Shells，可在运行中的容器内执行 vim、ps 和 strace 等命令。区域选择现已在所有套餐中提供，定价为基础价格乘以一个系数，客户端还通过新增的 oidc_auth_role_arn 字段为云存储桶挂载增加了 OIDC 认证。
Modal 为其无服务器 GPU 容器运行时引入了内存快照恢复功能，称其冷启动速度比标准容器启动快约 2.5 倍。一个通常需要约 13 秒的 Stable Diffusion 推理 Function 现在可在 3.5 秒内恢复，而一个简单的 import torch 程序在 p50 下从约 5 秒降至约 1.05 秒，在 p0 下降至 0.69 秒。快照基于 gVisor 的 checkpoint/restore 构建，按需创建，当恢复失败时会自动回退到标准容器启动；GPU 状态尚未保存，因此必须在恢复后重建。
推荐理由：Modal 解释了基于 gVisor 的内存快照如何缩短无服务器冷启动，并给出了 Stable Diffusion Function 和 torch import 示例的具体恢复耗时。
Modal 现已提供 NVIDIA L40S GPU，价格为每小时 1.95 美元，配备 48GB 内存，与 A10 GPU 相比，内存密集型任务性能最高提升 40%，计算密集型任务加速超过 100%。该平台还新增了用于限制 Web 端点访问的代理认证令牌、面向沙箱的文件系统 API，以及磁盘快照功能，允许用户从快照创建新的沙箱实例以消除冷启动。Modal 还宣布已完成 SOC 2 Type 2 认证。
Modal 宣布 Sandboxes 正式可用，这是其用于在与其它 Modal 资源隔离的环境中安全运行来自 LLM、用户或第三方来源的不可信代码的基础组件。Sandboxes 提供简单的 exec API、通过 Image API 实现运行时可配置的环境，以及用于持久化的文件系统快照。Modal 还将支持上游贡献至 SWE-bench，其中 --modal 标志可让 Verified 基准的 500 个任务在大约 7 分钟内运行完成，并列举 Quora 的 Poe、Codegen 和 Relevance AI 作为客户。
Modal 发布了一轮产品更新，核心是其 beta 内存快照功能的重大升级，据称可将 Stable Diffusion 等模型的冷启动时间缩短一半。该平台还新增了对 OpenID Connect 的支持以提供短期身份令牌，支持 eStargz 镜像压缩以加快从 ECR 和 Docker Hub 等注册表的构建速度，并将异步任务队列的输入上限从 2k 扩展至 100 万。
Modal 现向所有用户提供 NVIDIA L40S GPU，价格为每小时 1.95 美元，定位为其最受欢迎的推理加速器 A10 的更快、更大内存替代方案。L40S 将 GPU 内存翻倍至 48GB，使 Flux.1-schnell 等模型能在单块 GPU 上以 16bit 精度运行，并在内存受限任务上带来约 40% 的加速，在计算受限的 16bit Tensor Core 任务上加速超过 100%。
微调会调整预训练 LLM 的权重，使其适配特定任务或领域，相比提示工程能提供更高质量，同时成本和延迟更低；一个经过微调的 Llama 7B 在性能相当的情况下，每 token 的成本效益大约比 GPT-3.5 高 50 倍。本指南涵盖结构化输出、风格遵循和领域特定指令等用例，以及 OpenAI、Predibase、Modal、Google Colab 和 AWS SageMaker 等选项，还有 HuggingFace transformers、TRL 和 Axolotl 等框架。
Modal举办了一场内部黑客松，30名员工组成13支队伍，构建的项目均使用了Modal。Browserman是一个多模态AI智能体，基于Llama-3.2-90B-Vision-Instruct-FP8、vLLM和Playwright构建，通过视觉方式浏览网页以完成任务。Glodal原型化了一个分布式控制平面，将请求延迟从268ms降至3ms，Modal目前正将其构建到平台中。
一支被匿名称为 AFC Richmond 的欧洲顶级足球队将其比赛追踪数据流水线迁移到 Modal 的无服务器 GPU 平台，将处理整个赛季比赛的成本削减了 50%。该球队通过自定义的基于 transformer 的模型对每场比赛约 350 万条追踪观测数据运行推理，如今借助运行在 Modal 上的 Airflow，每场比赛的数据处理只需几分钟，而非数小时。
Modal与AWS签署战略合作协议，帮助企业在面向GPU加速工作负载的无服务器平台上更快开发和部署AI产品，该平台可在短短一秒内启动支持GPU的容器。作为协议的一部分，Modal将在AWS Marketplace上架，并投资于AWS PrivateLink等集成，以服务有特定安全与隐私要求的客户。
OpenArt 将其专有的 ComfyUI 工作流部署在 Modal 上，把在 AWS 和 GCP 上需要数小时的部署缩短到几分钟，并能自动扩展到数百个 GPU 容器。Modal 目前为该平台上的 100 多个工作流提供支持，该平台月活跃用户超过 300 万。
Cursor 宣布，快速且具备上下文感知能力的 AI 编程助手 Supermaven 将加入该公司，Supermaven 的创建者 Jacob Jackson 及其团队也将一同加入。Cursor 表示计划推出一个新的 Tab 模型版本，该版本速度快、具备上下文感知能力，尤其擅长处理长链条的大型编辑；同时，尽管 Cursor 将成为团队的核心重心，Supermaven 插件仍将继续维护。
Modal 推出了静态 IP 代理，可通过工作区专属 IP 路由出站流量，此外还提供原生 Slack 集成用于实时应用告警，以及一个实时用量仪表盘，可跟踪所有工作区应用的资源使用情况。此次更新还为函数增加了 GPU 回退，扩大了函数可调度到的资源池，并包含客户端变更，例如 `modal shell` 容器 ID 以及针对参数化函数的内存快照。
Tidbyt 是一家总部位于纽约、生产可编程智能家居 LED 屏幕的公司，现已加入 Modal。Tidbyt 联合创始人 Rohan Singh 和 Mats Linander 此前曾在 Spotify 从事容器基础设施工作，他们将为 Modal 面向数据/AI/ML 团队的云基础设施带来大规模系统经验。Tidbyt 的服务将继续为现有设备运行，但不再出货新设备。
Modal认为，AI的GPU短缺源于一种错配：大部分需求流向训练，但收入来自推理，而推理工作负载本质上具有波动性。由于请求率会随昼夜周期、每周模式、病毒式流量和增长趋势而波动，固定的长期GPU预留会使真实世界的集群利用率低于50%。将众多用户的需求池化——按总和峰值而非峰值之和来配置——可以大幅提高利用率，而跨区域池化供给可以进一步增加灵活性。
一个演示应用利用时间戳、地理位置数据和来自 Clay v1 基础模型的卫星图像嵌入，对加利福尼亚州进行混合搜索。Modal 负责编排每日 Sentinel API 查询、MongoDB Atlas 存储以及在 A10 GPU 上进行 GPU 嵌入推理，并通过 FastAPI 提供一个小的 Alpine JS 前端。
Contextual AI 在 Modal 上实现并并行化了基于 GPU 的持续集成，取代了此前在内部 GPU 节点上手动运行测试的方式。一个 GitHub Action 会触发一个挂载多块 GPU 的 Modal Function，借助镜像构建缓存，测试可在任务提交后 30 秒内启动。Modal 按使用量计费，因此计费中 99% 都是实际测试运行时间。
Modal 新增了原生动态批处理支持，推理函数可通过单个 @modal.batched() 装饰器并配合 max_batch_size 和 wait_ms 参数来对请求进行分组。在 A10G 上运行 OpenAI 的 Whisper large v3 时，max_batch_size 设为 64 使每个容器的吞吐量从约 1.2 提升至约 3.3 请求/秒，并将推理成本降低了 65%。
Modal 推出了应用回滚功能，用户可从仪表盘或 CLI 将已部署的应用恢复到之前的版本；同时推出 @batched 装饰器，可将请求累积成动态大小的批次，以延迟换取吞吐量和 GPU 利用率。Sandbox 对象现在可以将 TCP 端口转发到互联网并执行额外进程，日志可导出到 OpenTelemetry 提供商。CPU 核心和高端 GPU 的价格也有所下降。
Modal 现已支持 HIPAA 合规工作负载，面向通过 security@modal.com 签署业务伙伴协议（BAA）的 Enterprise 套餐客户开放。除 Volumes、Images（不含 Filesystem 和 Directory Snapshots）、Memory Snapshots 及用户代码外，所有 Modal 功能均在 BAA 覆盖范围内，上述除外项不应放置 PHI。Modal 以其最小权限数据处理和 gVisor 沙箱运行时作为安全基础，这建立在 SOC 2 Type 1 公告及正在进行的 SOC 2 Type 2 认证之上。
Cursor 实现了一个影子工作区，让 AI 在隐藏的 Electron 窗口中应用编辑并读回 lint 结果，而不触碰用户的编辑会话。文章概述了 LSP 可用性、独立性、隐私、并发和速度等设计目标，并解释了为何复制 TextModel 或运行独立语言服务器行不通。文章还勾勒了未来用于可运行性的内核级文件夹代理，并指出 macOS 和 Windows 缺乏可行的 FUSE 路径，且 Rust LSP 支持目前不可用。
Cursor 完成了 6000 万美元 A 轮融资，投资方包括 Andreessen Horowitz、Thrive Capital、OpenAI、Jeff Dean、Noam Brown，以及 Stripe、GitHub、Ramp、Perplexity 和 OpenAI 的创始人。这款 AI 编程工具称其用户已增长至 4 万多名，涵盖初创公司、研究机构与大型企业，并介绍了其用于下一次编辑预测、跨数十亿文件检索以及推测性推理代码重写的内部系统。
推荐理由：Cursor 的 6000 万美元 A 轮融资公告还披露其用户群已增长至 4 万以上，并点名了支持其 AI 编程工具的投资者。
Modal 将 CPU 和部分最强 GPU 的价格下调 15-30%，理由是 GPU 供应池竞争加剧，以及过去一年推出了更强大的 GPU。该公司还调整了 CPU/内存计费方式，改为按每个运行中的容器收取 max(预留, 用量)，所有 Functions 的默认最低预留为 0.125 个 CPU 核心。Team 计划涨至每月 250 美元，包含不限席位和每月 100 美元额度，新价格将于 9 月对受影响的 Starter 和 Team/Enterprise 用户生效。
Modal 的 Charles Frye 在新数据集上复现了 Large Language Monkeys 论文的核心主张，表明重复采样使 LLaMA 3.1 8B 在 HumanEval 上从 66.4% pass@1 提升至 90.5% pass@100 和 95.1% pass@1000，而 GPT-4o 报告的 pass@1 为 90.2%。运行使用 Modal 无服务器 GPU 上的 vLLM 和 Modal Sandboxes 进行并行测试执行，成本远低于 50 美元，并在三个数量级上展现出平滑、可预测的扩展。
推荐理由：一次亲手复现表明，使用小型开源模型进行重复采样可以在 HumanEval 上接近 GPT-4o，提供了一种具体、低成本的计算换准确率方案。
Modal 的月度产品更新新增了 Datadog 集成，只需一键即可转发应用日志和审计日志；同时支持为函数选择云区域，以满足监管、出网成本或数据库本地化需求。该公司还重构了函数调用系统，以实现更高吞吐量和显著更低的开销，面向低延迟的实时生产工作负载；并全面改版了应用详情页，新增时间区间缩放、容器状态和镜像文件系统视图。
Basis 组织了 Prompt Olympics，这是一场竞技编程风格的提示工程竞赛，奖金为 5,000 美元，并在 Modal 的基础设施上运行。在其中一项挑战中，参赛者编写提示，引导部署在 Modal 上的 LLaMA 3 70B 生成代码，这些代码必须在 Modal Sandboxes 内通过测试。决赛环节要求选手通过提示模型来控制 Crafter 游戏智能体；Basis 发现，即便是 LLaMA 3 70B 这样能力较强的开源模型也难以有效提示，于是该组件改用了一家专有模型 API。
Modal 现在可以直接从 Airflow DAG 触发，让团队无需设置 Celery 或 Kubernetes 执行器即可运行 GPU 支持的 AI/ML 任务。该指南涵盖在 Airflow 环境中安装 Modal、设置 MODAL_TOKEN_ID 和 MODAL_TOKEN_SECRET，以及两种方法：通过查找调用已部署的 Modal Functions，或构建在 Modal Sandboxes 中运行 Python 的自定义 operator。一个 Modal Airflow provider 包正在开发中。
Modal 在其无服务器容器运行时中新增了一个名为 seccheck 的运行时程序分析组件，可在封禁违规用户之前检测并禁用用于加密货币挖矿的 Function。由于挖矿者可以更改元数据但无法更改其程序，Modal 分析的是系统调用日志，而非源代码、二进制文件或容器镜像。该系统避免了基于 ptrace 的 strace 开销——后者可能使系统调用密集的程序变慢 100 倍以上。
Cursor 发布了其最初“Problems”文章的后续，列出了它认为对 AI 编程下一阶段最关键的研究问题。该公司已将 Copilot++ 扩展至预测下一个光标位置，并将其与下一次编辑预测相结合，使模型能够“玩转”一系列低熵变更——一个演示需要按 11 次 Tab 键，而其他每个键按 3 次，Cursor 称之为 Cursor Flow。其他方向包括跨代码库的动作预测、通过更多推理时计算实现完美编辑、幻觉伪代码、多文件编辑、最优上下文、多跳上下文以及缺陷检测与调试。