Modal 现向所有账户持有人提供 Nvidia B200 和 H200 GPU，无需联系销售或申请配额，价格分别为每小时 6.25 美元和 4.54 美元。B200 配备 180 GB HBM3e 显存和 8 TB/s 带宽；在 Modal 的 vLLM 测试中，以 8 位精度运行 DeepSeek V3 时，在每秒 1 个请求下，8 块 B200 将首 token 中位时间较 8 块 H200 缩短了 2.5 倍。
DeepSeek V3 每秒处理的 token 数量比 R1 多 47%，每百万输出 token 收费 0.28 美元；R1 每百万输出 token 收费 2.19 美元，并会为更难的任务运行内部推理循环。R1 在 MATH-500 上得分 97.3%，在 AIME 2024 上得分 79.8%；V3 则分别为 90.2% 和 39.2%。多数团队将 80-90% 的简单查询交给 V3，把复杂推理工作交给 R1。
SRTP 通过为每个媒体数据包添加加密载荷、认证标签和主密钥标识符来保护 RTP 语音和视频流。它主要依赖 AES 计数器模式和 HMAC-SHA1 认证标签，用序列号阻止重放攻击，并与 DTLS-SRTP 或 SDES 配合进行密钥交换。SRTP 被定位为实时通信中开销较低的应用层选项，GDPR、HIPAA 和 CPRA 被列为合规驱动因素。
一份关于在语音 AI 项目中使用 .env 文件与环境配置的指南，涵盖 Node.js 与 Python 的 dotenv 设置、将 .env 加入 .gitignore，以及 VAPI_API_KEY 和 VAPI_PROJECT_ID 等 Vapi 专用密钥。文中引用 GitGuardian 的发现：2023 年 GitHub 上泄露了 1280 万个密钥，同比增长 28%，并建议按环境拆分 env 文件，同时使用 git-crypt、SOPS、AWS Secrets Manager 和 HashiCorp Vault 等工具。
Amazon Lex 适合已在使用 AWS、需要与 Amazon 服务紧密集成的团队，而 Dialogflow 提供更广泛的语言支持，对新手来说学习曲线也更平缓。Lex 采用 Alexa 的技术，按使用量付费，第一年每月包含 10,000 次文本请求和 5,000 次语音请求的免费额度；Dialogflow 支持 30 多种语言，并提供预构建代理和情感分析。
Vapi 的指南说明了如何为其语音 AI 集成配置环境变量，涵盖临时与永久变量、用户级与系统级变量的区别。指南详细介绍了在 Windows、macOS 和 Linux 上的设置方法，并给出了 VAPI_API_KEY 和 VAPI_MULTILINGUAL_SUPPORT 等 Vapi 专用示例，以及命名和安全方面的最佳实践，例如绝不硬编码 API 密钥。
Modal 推出了 Modal Batch，这是一个批处理接口，背后是重建的持久化队列，可一次性排队 100 万个输入（此前为 2,000 个），并保证作业启动后最长 7 天内执行（此前为 1 天）。新的原生处理器 .spawn_map 可在一组输入上启动数千个容器，用户无需管理异步逻辑；Harvey 报告称，将输入分散到 1,000 个容器后，其文档处理流水线速度提升了 10 倍。Suno 用它在上千个 GPU 上运行 GPU 加速的预处理，Achira 则依赖其重试机制处理量子力学数据集。
Modal 升级了其无服务器 Dict 键值存储：新建的 Dict 现在拥有无限存储空间，而非此前 10GiB 的上限，条目过期时间改为自上次写入或读取起 7 天。.put() 上新增的 skip_if_exists 标志支持分布式锁定和“恰好一次”语义，Dict 现在还提供数据持久性。这些变更仅适用于新建的 Dict。
Modal 构建了一个“资源求解器”，使用线性规划和单纯形算法来决定启动或关闭哪些云实例，以可预测的价格满足 GPU 需求。该系统还能捕捉临时套利机会，例如以比 H100 现行价格低 20% 的价格获取数百块 H200 GPU，每年节省数百万美元。
Modal 发布了其官方 JavaScript 和 Go SDK 的 alpha 版本，让开发者可以从 Node、Next.js 或 Go 服务中调用已部署的 Modal Functions 并创建隔离沙箱，而无需编写 Python。这些 SDK 无法部署函数，部署函数仍需使用 Python，且目前仅支持类 JSON 或 bytes 数据类型。Modal 表示，无论使用哪种语言，都能无问题地运行 10,000 个沙箱。
Lemon Slice 构建了 Lemon Slice Live，这是一款用于与 AI 角色进行实时视频对话的产品，使用 Modal 和 Daily 的低延迟原语，实现端到端视频响应延迟 3-6 秒。该流水线在独立的 Modal 容器上运行 Pipecat 服务器和一个 10 亿参数的视频模型，这些容器通过 Modal 的 Tunnel 通信，并通过区域选择实现同地部署，由 Deepgram、Grok 和 ElevenLabs 负责语音转文本、LLM 响应和文本转语音。此前，两个 Python Modal Functions 让 Lemon Slice 扩展到每小时 10,000 次请求，而无需管理 ECS 集群、作业队列或负载均衡器。
sync. 正利用 Modal 每天对超过 100 小时的视频进行唇形同步，将长视频拆分为场景，在 n 个 T4 GPU 容器上运行人脸检测和翻译，再将每个场景交给其基于 A100 的专有 LipSync GenAI 模型处理。该团队每天部署多达 95 次，并在一年内将 10 个主要模型变体投入生产，此前他们从 Google Colab 原型和 AWS Lambda 迁移而来。
Modal 现在允许每个 Function 最多排队 100 万个输入（此前为 2k），并提高了 .spawn() 速率限制，FunctionCall 结果保留 7 天。此次更新还增加了在容器内通过 app.run() 创建临时应用、CLI 和仪表板中应用的 Git 提交信息，以及一个新的 TensorRT-LLM 示例，以低于 400 毫秒的延迟提供 LLM 服务。
GSD at Work 的顾问 Christian Ulstrup 使用 Vapi 语音 AI 代理，为其 AI Action Sessions 工作坊打造了一套异步语音接待系统，取代了原先预约的探索电话。参与者可在方便时拨打专用的 Vapi 电话线，转录文本和 AI 生成的摘要通过 Zapier 流入 Slack，并记录在 HubSpot 中。在最近一位客户的项目中，来自全球的 20 位参与者贡献了超过 3 小时的探索内容，该场次获得了 5 分（满分 5 分）的评价。
Modal 将 GPU、CPU 和内存价格下调最高 65%，Team 套餐用户现在最多可同时运行 50 个 GPU。从 0.73.46 版本起，Modal SDK 已上线 conda-forge，并计划发布 1.0 版客户端。Modal 还发布了 LTX-Video 图生视频示例，并推出了新标志。
Modal 发布了一份指南，区分了通常被称为“GPU 利用率”的三件事：GPU 分配利用率（运行应用代码的 GPU 秒数占付费 GPU 秒数的比例）、GPU 内核利用率（在 GPU 上运行代码的时间占比）以及模型 FLOP/s 利用率（所使用的理论算术带宽的份额）。该指南聚焦于神经网络推理工作负载，Modal 将其称为收入中心而非成本中心。
Modal 已在 GitHub 上以 Creative Commons BY 4.0 许可证开源其 GPU Glossary，这是一个关于 GPU 编程主题的相互链接的短文汇编。该词汇表最初于两个月前发布，旨在填补跨栈 GPU 参考资料方面的空白，而社区提出的贡献请求促成了此次开源。该仓库的 GitHub Issues 已列出计划中的扩展内容，包括两个示例 matmul 内核以及一个关于 Thread Block Clusters 的章节。
Modal 推出了全新改版的日志仪表盘，支持按时间范围输入筛选；提供实时容器性能分析，用于调试卡住的容器或输入；以及 Debug Shells，可在运行中的容器内执行 vim、ps 和 strace 等命令。区域选择现已在所有套餐中提供，定价为基础价格乘以一个系数，客户端还通过新增的 oidc_auth_role_arn 字段为云存储桶挂载增加了 OIDC 认证。
Modal 为其无服务器 GPU 容器运行时引入了内存快照恢复功能，称其冷启动速度比标准容器启动快约 2.5 倍。一个通常需要约 13 秒的 Stable Diffusion 推理 Function 现在可在 3.5 秒内恢复，而一个简单的 import torch 程序在 p50 下从约 5 秒降至约 1.05 秒，在 p0 下降至 0.69 秒。快照基于 gVisor 的 checkpoint/restore 构建，按需创建，当恢复失败时会自动回退到标准容器启动；GPU 状态尚未保存，因此必须在恢复后重建。
推荐理由：Modal 解释了基于 gVisor 的内存快照如何缩短无服务器冷启动，并给出了 Stable Diffusion Function 和 torch import 示例的具体恢复耗时。
Modal 现已提供 NVIDIA L40S GPU，价格为每小时 1.95 美元，配备 48GB 内存，与 A10 GPU 相比，内存密集型任务性能最高提升 40%，计算密集型任务加速超过 100%。该平台还新增了用于限制 Web 端点访问的代理认证令牌、面向沙箱的文件系统 API，以及磁盘快照功能，允许用户从快照创建新的沙箱实例以消除冷启动。Modal 还宣布已完成 SOC 2 Type 2 认证。
Modal 宣布 Sandboxes 正式可用，这是其用于在与其它 Modal 资源隔离的环境中安全运行来自 LLM、用户或第三方来源的不可信代码的基础组件。Sandboxes 提供简单的 exec API、通过 Image API 实现运行时可配置的环境，以及用于持久化的文件系统快照。Modal 还将支持上游贡献至 SWE-bench，其中 --modal 标志可让 Verified 基准的 500 个任务在大约 7 分钟内运行完成，并列举 Quora 的 Poe、Codegen 和 Relevance AI 作为客户。
Modal 发布了一轮产品更新，核心是其 beta 内存快照功能的重大升级，据称可将 Stable Diffusion 等模型的冷启动时间缩短一半。该平台还新增了对 OpenID Connect 的支持以提供短期身份令牌，支持 eStargz 镜像压缩以加快从 ECR 和 Docker Hub 等注册表的构建速度，并将异步任务队列的输入上限从 2k 扩展至 100 万。
Modal 现向所有用户提供 NVIDIA L40S GPU，价格为每小时 1.95 美元，定位为其最受欢迎的推理加速器 A10 的更快、更大内存替代方案。L40S 将 GPU 内存翻倍至 48GB，使 Flux.1-schnell 等模型能在单块 GPU 上以 16bit 精度运行，并在内存受限任务上带来约 40% 的加速，在计算受限的 16bit Tensor Core 任务上加速超过 100%。
微调会调整预训练 LLM 的权重，使其适配特定任务或领域，相比提示工程能提供更高质量，同时成本和延迟更低；一个经过微调的 Llama 7B 在性能相当的情况下，每 token 的成本效益大约比 GPT-3.5 高 50 倍。本指南涵盖结构化输出、风格遵循和领域特定指令等用例，以及 OpenAI、Predibase、Modal、Google Colab 和 AWS SageMaker 等选项，还有 HuggingFace transformers、TRL 和 Axolotl 等框架。
Modal举办了一场内部黑客松，30名员工组成13支队伍，构建的项目均使用了Modal。Browserman是一个多模态AI智能体，基于Llama-3.2-90B-Vision-Instruct-FP8、vLLM和Playwright构建，通过视觉方式浏览网页以完成任务。Glodal原型化了一个分布式控制平面，将请求延迟从268ms降至3ms，Modal目前正将其构建到平台中。
一支被匿名称为 AFC Richmond 的欧洲顶级足球队将其比赛追踪数据流水线迁移到 Modal 的无服务器 GPU 平台，将处理整个赛季比赛的成本削减了 50%。该球队通过自定义的基于 transformer 的模型对每场比赛约 350 万条追踪观测数据运行推理，如今借助运行在 Modal 上的 Airflow，每场比赛的数据处理只需几分钟，而非数小时。
Modal与AWS签署战略合作协议，帮助企业在面向GPU加速工作负载的无服务器平台上更快开发和部署AI产品，该平台可在短短一秒内启动支持GPU的容器。作为协议的一部分，Modal将在AWS Marketplace上架，并投资于AWS PrivateLink等集成，以服务有特定安全与隐私要求的客户。
OpenArt 将其专有的 ComfyUI 工作流部署在 Modal 上，把在 AWS 和 GCP 上需要数小时的部署缩短到几分钟，并能自动扩展到数百个 GPU 容器。Modal 目前为该平台上的 100 多个工作流提供支持，该平台月活跃用户超过 300 万。
Modal 推出了静态 IP 代理，可通过工作区专属 IP 路由出站流量，此外还提供原生 Slack 集成用于实时应用告警，以及一个实时用量仪表盘，可跟踪所有工作区应用的资源使用情况。此次更新还为函数增加了 GPU 回退，扩大了函数可调度到的资源池，并包含客户端变更，例如 `modal shell` 容器 ID 以及针对参数化函数的内存快照。
Modal认为，AI的GPU短缺源于一种错配：大部分需求流向训练，但收入来自推理，而推理工作负载本质上具有波动性。由于请求率会随昼夜周期、每周模式、病毒式流量和增长趋势而波动，固定的长期GPU预留会使真实世界的集群利用率低于50%。将众多用户的需求池化——按总和峰值而非峰值之和来配置——可以大幅提高利用率，而跨区域池化供给可以进一步增加灵活性。
一个演示应用利用时间戳、地理位置数据和来自 Clay v1 基础模型的卫星图像嵌入，对加利福尼亚州进行混合搜索。Modal 负责编排每日 Sentinel API 查询、MongoDB Atlas 存储以及在 A10 GPU 上进行 GPU 嵌入推理，并通过 FastAPI 提供一个小的 Alpine JS 前端。
Contextual AI 在 Modal 上实现并并行化了基于 GPU 的持续集成，取代了此前在内部 GPU 节点上手动运行测试的方式。一个 GitHub Action 会触发一个挂载多块 GPU 的 Modal Function，借助镜像构建缓存，测试可在任务提交后 30 秒内启动。Modal 按使用量计费，因此计费中 99% 都是实际测试运行时间。
Modal 新增了原生动态批处理支持，推理函数可通过单个 @modal.batched() 装饰器并配合 max_batch_size 和 wait_ms 参数来对请求进行分组。在 A10G 上运行 OpenAI 的 Whisper large v3 时，max_batch_size 设为 64 使每个容器的吞吐量从约 1.2 提升至约 3.3 请求/秒，并将推理成本降低了 65%。
Modal 推出了应用回滚功能，用户可从仪表盘或 CLI 将已部署的应用恢复到之前的版本；同时推出 @batched 装饰器，可将请求累积成动态大小的批次，以延迟换取吞吐量和 GPU 利用率。Sandbox 对象现在可以将 TCP 端口转发到互联网并执行额外进程，日志可导出到 OpenTelemetry 提供商。CPU 核心和高端 GPU 的价格也有所下降。
Modal 现已支持 HIPAA 合规工作负载，面向通过 security@modal.com 签署业务伙伴协议（BAA）的 Enterprise 套餐客户开放。除 Volumes、Images（不含 Filesystem 和 Directory Snapshots）、Memory Snapshots 及用户代码外，所有 Modal 功能均在 BAA 覆盖范围内，上述除外项不应放置 PHI。Modal 以其最小权限数据处理和 gVisor 沙箱运行时作为安全基础，这建立在 SOC 2 Type 1 公告及正在进行的 SOC 2 Type 2 认证之上。
Cursor 实现了一个影子工作区，让 AI 在隐藏的 Electron 窗口中应用编辑并读回 lint 结果，而不触碰用户的编辑会话。文章概述了 LSP 可用性、独立性、隐私、并发和速度等设计目标，并解释了为何复制 TextModel 或运行独立语言服务器行不通。文章还勾勒了未来用于可运行性的内核级文件夹代理，并指出 macOS 和 Windows 缺乏可行的 FUSE 路径，且 Rust LSP 支持目前不可用。
Modal 将 CPU 和部分最强 GPU 的价格下调 15-30%，理由是 GPU 供应池竞争加剧，以及过去一年推出了更强大的 GPU。该公司还调整了 CPU/内存计费方式，改为按每个运行中的容器收取 max(预留, 用量)，所有 Functions 的默认最低预留为 0.125 个 CPU 核心。Team 计划涨至每月 250 美元，包含不限席位和每月 100 美元额度，新价格将于 9 月对受影响的 Starter 和 Team/Enterprise 用户生效。
Modal 的 Charles Frye 在新数据集上复现了 Large Language Monkeys 论文的核心主张，表明重复采样使 LLaMA 3.1 8B 在 HumanEval 上从 66.4% pass@1 提升至 90.5% pass@100 和 95.1% pass@1000，而 GPT-4o 报告的 pass@1 为 90.2%。运行使用 Modal 无服务器 GPU 上的 vLLM 和 Modal Sandboxes 进行并行测试执行，成本远低于 50 美元，并在三个数量级上展现出平滑、可预测的扩展。
推荐理由：一次亲手复现表明，使用小型开源模型进行重复采样可以在 HumanEval 上接近 GPT-4o，提供了一种具体、低成本的计算换准确率方案。
Modal 的月度产品更新新增了 Datadog 集成，只需一键即可转发应用日志和审计日志；同时支持为函数选择云区域，以满足监管、出网成本或数据库本地化需求。该公司还重构了函数调用系统，以实现更高吞吐量和显著更低的开销，面向低延迟的实时生产工作负载；并全面改版了应用详情页，新增时间区间缩放、容器状态和镜像文件系统视图。
Basis 组织了 Prompt Olympics，这是一场竞技编程风格的提示工程竞赛，奖金为 5,000 美元，并在 Modal 的基础设施上运行。在其中一项挑战中，参赛者编写提示，引导部署在 Modal 上的 LLaMA 3 70B 生成代码，这些代码必须在 Modal Sandboxes 内通过测试。决赛环节要求选手通过提示模型来控制 Crafter 游戏智能体；Basis 发现，即便是 LLaMA 3 70B 这样能力较强的开源模型也难以有效提示，于是该组件改用了一家专有模型 API。