GPU 利用率的高层指南：分配、内核与模型 FLOP/s 利用率
Modal 发布了一份指南，区分了通常被称为“GPU 利用率”的三件事：GPU 分配利用率（运行应用代码的 GPU 秒数占付费 GPU 秒数的比例）、GPU 内核利用率（在 GPU 上运行代码的时间占比）以及模型 FLOP/s 利用率（所使用的理论算术带宽的份额）。该指南聚焦于神经网络推理工作负载，Modal 将其称为收入中心而非成本中心。
全部动态
Modal BlogAI 评分4040
Modal BlogAI 评分3535 Modal 以 CC BY 4.0 协议开源 GPU Glossary
Modal 已在 GitHub 上以 Creative Commons BY 4.0 许可证开源其 GPU Glossary，这是一个关于 GPU 编程主题的相互链接的短文汇编。该词汇表最初于两个月前发布，旨在填补跨栈 GPU 参考资料方面的空白，而社区提出的贡献请求促成了此次开源。该仓库的 GitHub Issues 已列出计划中的扩展内容，包括两个示例 matmul 内核以及一个关于 Thread Block Clusters 的章节。
Modal BlogAI 评分2222 Modal 产品更新：Logs v2、实时容器性能分析，以及所有套餐均可选择区域
Modal 推出了全新改版的日志仪表盘，支持按时间范围输入筛选；提供实时容器性能分析，用于调试卡住的容器或输入；以及 Debug Shells，可在运行中的容器内执行 vim、ps 和 strace 等命令。区域选择现已在所有套餐中提供，定价为基础价格乘以一个系数，客户端还通过新增的 oidc_auth_role_arn 字段为云存储桶挂载增加了 OIDC 认证。
Modal Blog精选AI 评分6262 Modal 增加内存快照，将无服务器冷启动缩短 2.5 倍
Modal 为其无服务器 GPU 容器运行时引入了内存快照恢复功能，称其冷启动速度比标准容器启动快约 2.5 倍。一个通常需要约 13 秒的 Stable Diffusion 推理 Function 现在可在 3.5 秒内恢复，而一个简单的 import torch 程序在 p50 下从约 5 秒降至约 1.05 秒，在 p0 下降至 0.69 秒。快照基于 gVisor 的 checkpoint/restore 构建，按需创建，当恢复失败时会自动回退到标准容器启动；GPU 状态尚未保存，因此必须在恢复后重建。
推荐理由：Modal 解释了基于 gVisor 的内存快照如何缩短无服务器冷启动，并给出了 Stable Diffusion Function 和 torch import 示例的具体恢复耗时。
Modal BlogAI 评分2020 Modal 产品更新：L40S GPU、代理认证令牌和沙箱磁盘快照
Modal 现已提供 NVIDIA L40S GPU，价格为每小时 1.95 美元，配备 48GB 内存，与 A10 GPU 相比，内存密集型任务性能最高提升 40%，计算密集型任务加速超过 100%。该平台还新增了用于限制 Web 端点访问的代理认证令牌、面向沙箱的文件系统 API，以及磁盘快照功能，允许用户从快照创建新的沙箱实例以消除冷启动。Modal 还宣布已完成 SOC 2 Type 2 认证。
Modal BlogAI 评分5858 Modal Sandboxes 正式可用，为 LLM 与用户代码提供隔离执行环境
Modal 宣布 Sandboxes 正式可用，这是其用于在与其它 Modal 资源隔离的环境中安全运行来自 LLM、用户或第三方来源的不可信代码的基础组件。Sandboxes 提供简单的 exec API、通过 Image API 实现运行时可配置的环境，以及用于持久化的文件系统快照。Modal 还将支持上游贡献至 SWE-bench，其中 --modal 标志可让 Verified 基准的 500 个任务在大约 7 分钟内运行完成，并列举 Quora 的 Poe、Codegen 和 Relevance AI 作为客户。
Modal BlogAI 评分2222 Modal 产品更新：更快的内存快照、OIDC、异步任务队列
Modal 发布了一轮产品更新，核心是其 beta 内存快照功能的重大升级，据称可将 Stable Diffusion 等模型的冷启动时间缩短一半。该平台还新增了对 OpenID Connect 的支持以提供短期身份令牌，支持 eStargz 镜像压缩以加快从 ECR 和 Docker Hub 等注册表的构建速度，并将异步任务队列的输入上限从 2k 扩展至 100 万。
Modal BlogAI 评分2525 Modal 新增 NVIDIA L40S GPU，AI 推理每小时 1.95 美元
Modal 现向所有用户提供 NVIDIA L40S GPU，价格为每小时 1.95 美元，定位为其最受欢迎的推理加速器 A10 的更快、更大内存替代方案。L40S 将 GPU 内存翻倍至 48GB，使 Flux.1-schnell 等模型能在单块 GPU 上以 16bit 精度运行，并在内存受限任务上带来约 40% 的加速，在计算受限的 16bit Tensor Core 任务上加速超过 100%。
Modal BlogAI 评分3030 什么是 LLM 微调？技术与工具指南
微调会调整预训练 LLM 的权重，使其适配特定任务或领域，相比提示工程能提供更高质量，同时成本和延迟更低；一个经过微调的 Llama 7B 在性能相当的情况下，每 token 的成本效益大约比 GPT-3.5 高 50 倍。本指南涵盖结构化输出、风格遵循和领域特定指令等用例，以及 OpenAI、Predibase、Modal、Google Colab 和 AWS SageMaker 等选项，还有 HuggingFace transformers、TRL 和 Axolotl 等框架。
Modal BlogAI 评分2222 Modal内部黑客松：Browserman、Glodal等基于Modal构建的项目
Modal举办了一场内部黑客松，30名员工组成13支队伍，构建的项目均使用了Modal。Browserman是一个多模态AI智能体，基于Llama-3.2-90B-Vision-Instruct-FP8、vLLM和Playwright构建，通过视觉方式浏览网页以完成任务。Glodal原型化了一个分布式控制平面，将请求延迟从268ms降至3ms，Modal目前正将其构建到平台中。
Modal BlogAI 评分2222 一支欧洲顶级足球队如何借助 Modal 将数据处理成本削减 50%
一支被匿名称为 AFC Richmond 的欧洲顶级足球队将其比赛追踪数据流水线迁移到 Modal 的无服务器 GPU 平台，将处理整个赛季比赛的成本削减了 50%。该球队通过自定义的基于 transformer 的模型对每场比赛约 350 万条追踪观测数据运行推理，如今借助运行在 Modal 上的 Airflow，每场比赛的数据处理只需几分钟，而非数小时。
Modal BlogAI 评分2222 Modal与AWS签署战略合作协议，共同推进GPU加速的生成式AI
Modal与AWS签署战略合作协议，帮助企业在面向GPU加速工作负载的无服务器平台上更快开发和部署AI产品，该平台可在短短一秒内启动支持GPU的容器。作为协议的一部分，Modal将在AWS Marketplace上架，并投资于AWS PrivateLink等集成，以服务有特定安全与隐私要求的客户。
Modal BlogAI 评分2525 OpenArt 如何借助 Modal 在数百块 GPU 上扩展其生成式 AI 艺术平台
OpenArt 将其专有的 ComfyUI 工作流部署在 Modal 上，把在 AWS 和 GCP 上需要数小时的部署缩短到几分钟，并能自动扩展到数百个 GPU 容器。Modal 目前为该平台上的 100 多个工作流提供支持，该平台月活跃用户超过 300 万。
Cursor ChangelogAI 评分5858 Supermaven 加入 Cursor，团队重心转向 Cursor 编辑器
Cursor 宣布，快速且具备上下文感知能力的 AI 编程助手 Supermaven 将加入该公司，Supermaven 的创建者 Jacob Jackson 及其团队也将一同加入。Cursor 表示计划推出一个新的 Tab 模型版本，该版本速度快、具备上下文感知能力，尤其擅长处理长链条的大型编辑；同时，尽管 Cursor 将成为团队的核心重心，Supermaven 插件仍将继续维护。
Modal BlogAI 评分2222 Modal 产品更新：静态 IP 代理、Slack 集成、实时用量仪表盘和 GPU 回退
Modal 推出了静态 IP 代理，可通过工作区专属 IP 路由出站流量，此外还提供原生 Slack 集成用于实时应用告警，以及一个实时用量仪表盘，可跟踪所有工作区应用的资源使用情况。此次更新还为函数增加了 GPU 回退，扩大了函数可调度到的资源池，并包含客户端变更，例如 `modal shell` 容器 ID 以及针对参数化函数的内存快照。
Modal BlogAI 评分2222 Tidbyt 加入 Modal
Tidbyt 是一家总部位于纽约、生产可编程智能家居 LED 屏幕的公司，现已加入 Modal。Tidbyt 联合创始人 Rohan Singh 和 Mats Linander 此前曾在 Spotify 从事容器基础设施工作，他们将为 Modal 面向数据/AI/ML 团队的云基础设施带来大规模系统经验。Tidbyt 的服务将继续为现有设备运行，但不再出货新设备。
Modal BlogAI 评分3838 为什么AI的未来需要更灵活的GPU容量
Modal认为，AI的GPU短缺源于一种错配：大部分需求流向训练，但收入来自推理，而推理工作负载本质上具有波动性。由于请求率会随昼夜周期、每周模式、病毒式流量和增长趋势而波动，固定的长期GPU预留会使真实世界的集群利用率低于50%。将众多用户的需求池化——按总和峰值而非峰值之和来配置——可以大幅提高利用率，而跨区域池化供给可以进一步增加灵活性。
Modal BlogAI 评分2222 使用 Modal、MongoDB 和 Clay 对加利福尼亚卫星嵌入进行混合搜索
一个演示应用利用时间戳、地理位置数据和来自 Clay v1 基础模型的卫星图像嵌入，对加利福尼亚州进行混合搜索。Modal 负责编排每日 Sentinel API 查询、MongoDB Atlas 存储以及在 A10 GPU 上进行 GPU 嵌入推理，并通过 FastAPI 提供一个小的 Alpine JS 前端。
Modal BlogAI 评分2020 Contextual AI 如何利用 Modal GPU 实现 CI 自动化
Contextual AI 在 Modal 上实现并并行化了基于 GPU 的持续集成，取代了此前在内部 GPU 节点上手动运行测试的方式。一个 GitHub Action 会触发一个挂载多块 GPU 的 Modal Function，借助镜像构建缓存，测试可在任务提交后 30 秒内启动。Modal 按使用量计费，因此计费中 99% 都是实际测试运行时间。
Modal BlogAI 评分3838 Modal 新增原生动态批处理，Whisper 吞吐量提升 2.8 倍
Modal 新增了原生动态批处理支持，推理函数可通过单个 @modal.batched() 装饰器并配合 max_batch_size 和 wait_ms 参数来对请求进行分组。在 A10G 上运行 OpenAI 的 Whisper large v3 时，max_batch_size 设为 64 使每个容器的吞吐量从约 1.2 提升至约 3.3 请求/秒，并将推理成本降低了 65%。
Modal BlogAI 评分2222 Modal 产品更新：应用回滚、动态批处理、沙箱隧道与 OpenTelemetry
Modal 推出了应用回滚功能，用户可从仪表盘或 CLI 将已部署的应用恢复到之前的版本；同时推出 @batched 装饰器，可将请求累积成动态大小的批次，以延迟换取吞吐量和 GPU 利用率。Sandbox 对象现在可以将 TCP 端口转发到互联网并执行额外进程，日志可导出到 OpenTelemetry 提供商。CPU 核心和高端 GPU 的价格也有所下降。
Modal BlogAI 评分2222 Modal 为 Enterprise 客户新增 HIPAA 合规工作负载支持
Modal 现已支持 HIPAA 合规工作负载，面向通过 security@modal.com 签署业务伙伴协议（BAA）的 Enterprise 套餐客户开放。除 Volumes、Images（不含 Filesystem 和 Directory Snapshots）、Memory Snapshots 及用户代码外，所有 Modal 功能均在 BAA 覆盖范围内，上述除外项不应放置 PHI。Modal 以其最小权限数据处理和 gVisor 沙箱运行时作为安全基础，这建立在 SOC 2 Type 1 公告及正在进行的 SOC 2 Type 2 认证之上。
Cursor ChangelogAI 评分5858 Cursor 详述用于后台 AI 代码迭代的 Shadow Workspace
Cursor 实现了一个影子工作区，让 AI 在隐藏的 Electron 窗口中应用编辑并读回 lint 结果，而不触碰用户的编辑会话。文章概述了 LSP 可用性、独立性、隐私、并发和速度等设计目标，并解释了为何复制 TextModel 或运行独立语言服务器行不通。文章还勾勒了未来用于可运行性的内核级文件夹代理，并指出 macOS 和 Windows 缺乏可行的 FUSE 路径，且 Rust LSP 支持目前不可用。
Cursor Changelog精选AI 评分6262 Cursor 完成由 Andreessen Horowitz、Thrive Capital 和 OpenAI 投资的 6000 万美元 A 轮融资
Cursor 完成了 6000 万美元 A 轮融资，投资方包括 Andreessen Horowitz、Thrive Capital、OpenAI、Jeff Dean、Noam Brown，以及 Stripe、GitHub、Ramp、Perplexity 和 OpenAI 的创始人。这款 AI 编程工具称其用户已增长至 4 万多名，涵盖初创公司、研究机构与大型企业，并介绍了其用于下一次编辑预测、跨数十亿文件检索以及推测性推理代码重写的内部系统。
推荐理由：Cursor 的 6000 万美元 A 轮融资公告还披露其用户群已增长至 4 万以上，并点名了支持其 AI 编程工具的投资者。
Modal BlogAI 评分4242 Modal 将 CPU 和 GPU 价格下调 15-30%
Modal 将 CPU 和部分最强 GPU 的价格下调 15-30%，理由是 GPU 供应池竞争加剧，以及过去一年推出了更强大的 GPU。该公司还调整了 CPU/内存计费方式，改为按每个运行中的容器收取 max(预留, 用量)，所有 Functions 的默认最低预留为 0.125 个 CPU 核心。Team 计划涨至每月 250 美元，包含不限席位和每月 100 美元额度，新价格将于 9 月对受影响的 Starter 和 Team/Enterprise 用户生效。
Modal Blog精选AI 评分6262 Modal 复现 Large Language Monkeys：LLaMA 3.1 8B 通过搜索在 HumanEval 上媲美 GPT-4o
Modal 的 Charles Frye 在新数据集上复现了 Large Language Monkeys 论文的核心主张，表明重复采样使 LLaMA 3.1 8B 在 HumanEval 上从 66.4% pass@1 提升至 90.5% pass@100 和 95.1% pass@1000，而 GPT-4o 报告的 pass@1 为 90.2%。运行使用 Modal 无服务器 GPU 上的 vLLM 和 Modal Sandboxes 进行并行测试执行，成本远低于 50 美元，并在三个数量级上展现出平滑、可预测的扩展。
推荐理由：一次亲手复现表明，使用小型开源模型进行重复采样可以在 HumanEval 上接近 GPT-4o，提供了一种具体、低成本的计算换准确率方案。
Modal BlogAI 评分2222 Modal 产品更新：Datadog 集成、区域选择、更低的函数延迟
Modal 的月度产品更新新增了 Datadog 集成，只需一键即可转发应用日志和审计日志；同时支持为函数选择云区域，以满足监管、出网成本或数据库本地化需求。该公司还重构了函数调用系统，以实现更高吞吐量和显著更低的开销，面向低延迟的实时生产工作负载；并全面改版了应用详情页，新增时间区间缩放、容器状态和镜像文件系统视图。
Modal BlogAI 评分3030 竞争性提示工程：Basis 在 Modal 上举办 Prompt Olympics
Basis 组织了 Prompt Olympics，这是一场竞技编程风格的提示工程竞赛，奖金为 5,000 美元，并在 Modal 的基础设施上运行。在其中一项挑战中，参赛者编写提示，引导部署在 Modal 上的 LLaMA 3 70B 生成代码，这些代码必须在 Modal Sandboxes 内通过测试。决赛环节要求选手通过提示模型来控制 Crafter 游戏智能体；Basis 发现，即便是 LLaMA 3 70B 这样能力较强的开源模型也难以有效提示，于是该组件改用了一家专有模型 API。
Modal BlogAI 评分2525 通过 Modal 从 Airflow 运行 GPU 任务
Modal 现在可以直接从 Airflow DAG 触发，让团队无需设置 Celery 或 Kubernetes 执行器即可运行 GPU 支持的 AI/ML 任务。该指南涵盖在 Airflow 环境中安装 Modal、设置 MODAL_TOKEN_ID 和 MODAL_TOKEN_SECRET，以及两种方法：通过查找调用已部署的 Modal Functions，或构建在 Modal Sandboxes 中运行 Python 的自定义 operator。一个 Modal Airflow provider 包正在开发中。
Modal BlogAI 评分3838 Modal 如何利用系统调用特征识别加密货币挖矿者
Modal 在其无服务器容器运行时中新增了一个名为 seccheck 的运行时程序分析组件，可在封禁违规用户之前检测并禁用用于加密货币挖矿的 Function。由于挖矿者可以更改元数据但无法更改其程序，Modal 分析的是系统调用日志，而非源代码、二进制文件或容器镜像。该系统避免了基于 ptrace 的 strace 开销——后者可能使系统调用密集的程序变慢 100 倍以上。
Cursor ChangelogAI 评分4040 Cursor 勾勒下一阶段 AI 编程难题：动作预测、完美编辑、最优上下文
Cursor 发布了其最初“Problems”文章的后续，列出了它认为对 AI 编程下一阶段最关键的研究问题。该公司已将 Copilot++ 扩展至预测下一个光标位置，并将其与下一次编辑预测相结合，使模型能够“玩转”一系列低熵变更——一个演示需要按 11 次 Tab 键，而其他每个键按 3 次，Cursor 称之为 Cursor Flow。其他方向包括跨代码库的动作预测、通过更多推理时计算实现完美编辑、幻觉伪代码、多文件编辑、最优上下文、多跳上下文以及缺陷检测与调试。
Modal BlogAI 评分2222 Hunch 如何利用 Modal Sandboxes 安全运行 AI 生成的代码
Hunch 是一个空间画布，集成了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，它使用 Modal Sandboxes 在隔离的临时容器中安全执行 AI 生成的代码。该集成只需几行 Python 代码，支持 pip 安装、挂载存储卷和自动扩缩容。Hunch 表示，这一设置让非程序员也能构建获取 API 数据或将结果发送到 Slack webhook 的工作流。
Modal BlogAI 评分3131 在 Heroicons 上微调 Stable Diffusion，打造无限图标库
Modal 在约 300 个 SVG 的 Heroicons 图标库上微调了一个 Stable Diffusion 模型，以生成该风格的新黑白线条图标，包括 barack-obama 和 golden-retriever 等概念的图标。完整流程——下载预训练模型、使用 HuggingFace Diffusers 的 train_text_to_image.py 脚本进行全量微调，以及提供 Gradio Web UI——都在 Modal 的无服务器 GPU 平台上运行。文章详细介绍了数据集准备（SVG 转 PNG、白色背景、caption metadata.csv），并指出全量微调效果最好，不过 LoRA 风格的并行适配器也可用于小数据集。
Modal BlogAI 评分2525 Substack为何将其AI和ML流水线迁移至Modal
Substack已将几乎所有机器学习模型的训练和部署——包括垃圾邮件检测、新闻通讯推荐、音频转录、情感分析和图像生成——从AWS SageMaker迁移至Modal。AI与ML工程负责人Mike Cohen指出，SageMaker的开发者体验繁琐复杂，代码难以在notebook之间共享，容器启动时间超过5分钟；而在Modal上，实现一个推理端点仅需一小时。Substack现在依托Modal的存储原语运行完整的微调、验证和部署工作流。
Modal BlogAI 评分1818 Modal 产品更新：云存储桶挂载、Okta SSO 等
Modal 的月度产品更新新增了针对 AWS S3 和 Cloudflare R2 存储桶的可写挂载、用于在指定端口托管非 ASGI/WSGI Web 服务器的 @web_server 装饰器，以及面向企业版用户的 Okta 单点登录。Web 仪表板中的卷查看器让用户可以浏览卷文件系统，最新客户端则通过 .include 支持多文件应用组合、分区队列，以及为 Sandboxes 提供 stdin 支持。
Modal BlogAI 评分5050 微调开源嵌入模型以超越 OpenAI 的 text-embedding-3-small
仅用少量示例，微调后的开源嵌入模型就能以更低的成本在准确率上超越 OpenAI 的 text-embedding-3-small。Modal 在 Quora 重复问题数据集上做了一项实验，以探究一个简单的问答用例需要多少微调数据，并介绍了如何在其无服务器基础设施上构建这样一个模型。
Modal BlogAI 评分1212 Modal 入选 Wing 2024 年 Enterprise Tech 30 榜单
面向 AI 与数据团队的无服务器平台 Modal 入选 Wing 第六届年度 Enterprise Tech 30 榜单，在早期阶段类别十家公司中排名第三。该榜单由 112 位风险投资人和 36 个企业投资团队从近 600 家获得风险投资的私营企业科技公司中评选得出。
Modal BlogAI 评分2222 Ramp 如何在 Modal 上使用微调 LLM 实现收据处理自动化
Ramp 使用 Modal 微调其 LLM，并构建了一个文本转结构化 JSON 的模型用于收据管理，使需要人工干预的收据减少了 34%，其基础设施成本估计比 OpenAI 等主要 LLM 提供商便宜 79%。Modal 函数并行训练了许多候选模型，将权重持久化到 Modal volumes，并提供了一个参数化推理端点。一名工程师还将一个用于 25,000 张发票的 PII 剥离脚本移植到 Modal，在 256 个云 worker 上并行运行，20 分钟完成，花费 100 美元，而在本地则需要 3 天。
Modal BlogAI 评分3636 Modal 的 modal-http：在无服务器基础设施上提供 Web 函数服务
Modal 构建了 modal-http，这是一个 HTTP 和 WebSocket 协议栈，使其无服务器函数能够接受 Web 请求，最近已完成完整的 WebSocket 支持。与 AWS Lambda 的 15 分钟和 50 MB 限制不同，Modal 容器最多可使用 64 个 CPU、336 GB 内存和 8 块 Nvidia H100 GPU，因此团队将 HTTP 转换为函数调用，而不是用传统的反向代理来前置容器。
Modal BlogAI 评分3838 Modal 为实时应用新增 WebSocket 支持
Modal 现已支持 WebSocket 连接，使其平台上的函数能够在客户端与服务器之间维持持久、双向的链路，而非按请求建立的 HTTP 连接。每个 WebSocket 连接计为一次输入，因此不受 CPU/GPU 限制的函数应允许并发输入，否则 Modal 会为每个连接启动一个新容器。Modal 会自动扩缩 WebSocket 处理程序，面向实时流式传输、长时间运行任务的进度更新，以及托管 ComfyUI、Streamlit 和 Gradio 等框架。