Modal内部黑客松：Browserman、Glodal等基于Modal构建的项目
Modal举办了一场内部黑客松，30名员工组成13支队伍，构建的项目均使用了Modal。Browserman是一个多模态AI智能体，基于Llama-3.2-90B-Vision-Instruct-FP8、vLLM和Playwright构建，通过视觉方式浏览网页以完成任务。Glodal原型化了一个分布式控制平面，将请求延迟从268ms降至3ms，Modal目前正将其构建到平台中。
#部署/工程
Modal BlogAI 评分2222
Modal BlogAI 评分2222 一支欧洲顶级足球队如何借助 Modal 将数据处理成本削减 50%
一支被匿名称为 AFC Richmond 的欧洲顶级足球队将其比赛追踪数据流水线迁移到 Modal 的无服务器 GPU 平台，将处理整个赛季比赛的成本削减了 50%。该球队通过自定义的基于 transformer 的模型对每场比赛约 350 万条追踪观测数据运行推理，如今借助运行在 Modal 上的 Airflow，每场比赛的数据处理只需几分钟，而非数小时。
Modal BlogAI 评分2222 Modal与AWS签署战略合作协议，共同推进GPU加速的生成式AI
Modal与AWS签署战略合作协议，帮助企业在面向GPU加速工作负载的无服务器平台上更快开发和部署AI产品，该平台可在短短一秒内启动支持GPU的容器。作为协议的一部分，Modal将在AWS Marketplace上架，并投资于AWS PrivateLink等集成，以服务有特定安全与隐私要求的客户。
Modal BlogAI 评分2525 OpenArt 如何借助 Modal 在数百块 GPU 上扩展其生成式 AI 艺术平台
OpenArt 将其专有的 ComfyUI 工作流部署在 Modal 上，把在 AWS 和 GCP 上需要数小时的部署缩短到几分钟，并能自动扩展到数百个 GPU 容器。Modal 目前为该平台上的 100 多个工作流提供支持，该平台月活跃用户超过 300 万。
Modal BlogAI 评分2222 Modal 产品更新：静态 IP 代理、Slack 集成、实时用量仪表盘和 GPU 回退
Modal 推出了静态 IP 代理，可通过工作区专属 IP 路由出站流量，此外还提供原生 Slack 集成用于实时应用告警，以及一个实时用量仪表盘，可跟踪所有工作区应用的资源使用情况。此次更新还为函数增加了 GPU 回退，扩大了函数可调度到的资源池，并包含客户端变更，例如 `modal shell` 容器 ID 以及针对参数化函数的内存快照。
Modal BlogAI 评分3838 为什么AI的未来需要更灵活的GPU容量
Modal认为，AI的GPU短缺源于一种错配：大部分需求流向训练，但收入来自推理，而推理工作负载本质上具有波动性。由于请求率会随昼夜周期、每周模式、病毒式流量和增长趋势而波动，固定的长期GPU预留会使真实世界的集群利用率低于50%。将众多用户的需求池化——按总和峰值而非峰值之和来配置——可以大幅提高利用率，而跨区域池化供给可以进一步增加灵活性。
Modal BlogAI 评分2222 使用 Modal、MongoDB 和 Clay 对加利福尼亚卫星嵌入进行混合搜索
一个演示应用利用时间戳、地理位置数据和来自 Clay v1 基础模型的卫星图像嵌入，对加利福尼亚州进行混合搜索。Modal 负责编排每日 Sentinel API 查询、MongoDB Atlas 存储以及在 A10 GPU 上进行 GPU 嵌入推理，并通过 FastAPI 提供一个小的 Alpine JS 前端。
Modal BlogAI 评分2020 Contextual AI 如何利用 Modal GPU 实现 CI 自动化
Contextual AI 在 Modal 上实现并并行化了基于 GPU 的持续集成，取代了此前在内部 GPU 节点上手动运行测试的方式。一个 GitHub Action 会触发一个挂载多块 GPU 的 Modal Function，借助镜像构建缓存，测试可在任务提交后 30 秒内启动。Modal 按使用量计费，因此计费中 99% 都是实际测试运行时间。
Modal BlogAI 评分3838 Modal 新增原生动态批处理，Whisper 吞吐量提升 2.8 倍
Modal 新增了原生动态批处理支持，推理函数可通过单个 @modal.batched() 装饰器并配合 max_batch_size 和 wait_ms 参数来对请求进行分组。在 A10G 上运行 OpenAI 的 Whisper large v3 时，max_batch_size 设为 64 使每个容器的吞吐量从约 1.2 提升至约 3.3 请求/秒，并将推理成本降低了 65%。
Modal BlogAI 评分2222 Modal 产品更新：应用回滚、动态批处理、沙箱隧道与 OpenTelemetry
Modal 推出了应用回滚功能，用户可从仪表盘或 CLI 将已部署的应用恢复到之前的版本；同时推出 @batched 装饰器，可将请求累积成动态大小的批次，以延迟换取吞吐量和 GPU 利用率。Sandbox 对象现在可以将 TCP 端口转发到互联网并执行额外进程，日志可导出到 OpenTelemetry 提供商。CPU 核心和高端 GPU 的价格也有所下降。
Modal BlogAI 评分2222 Modal 为 Enterprise 客户新增 HIPAA 合规工作负载支持
Modal 现已支持 HIPAA 合规工作负载，面向通过 security@modal.com 签署业务伙伴协议（BAA）的 Enterprise 套餐客户开放。除 Volumes、Images（不含 Filesystem 和 Directory Snapshots）、Memory Snapshots 及用户代码外，所有 Modal 功能均在 BAA 覆盖范围内，上述除外项不应放置 PHI。Modal 以其最小权限数据处理和 gVisor 沙箱运行时作为安全基础，这建立在 SOC 2 Type 1 公告及正在进行的 SOC 2 Type 2 认证之上。
Cursor ChangelogAI 评分5858 Cursor 详述用于后台 AI 代码迭代的 Shadow Workspace
Cursor 实现了一个影子工作区，让 AI 在隐藏的 Electron 窗口中应用编辑并读回 lint 结果，而不触碰用户的编辑会话。文章概述了 LSP 可用性、独立性、隐私、并发和速度等设计目标，并解释了为何复制 TextModel 或运行独立语言服务器行不通。文章还勾勒了未来用于可运行性的内核级文件夹代理，并指出 macOS 和 Windows 缺乏可行的 FUSE 路径，且 Rust LSP 支持目前不可用。
Modal BlogAI 评分4242 Modal 将 CPU 和 GPU 价格下调 15-30%
Modal 将 CPU 和部分最强 GPU 的价格下调 15-30%，理由是 GPU 供应池竞争加剧，以及过去一年推出了更强大的 GPU。该公司还调整了 CPU/内存计费方式，改为按每个运行中的容器收取 max(预留, 用量)，所有 Functions 的默认最低预留为 0.125 个 CPU 核心。Team 计划涨至每月 250 美元，包含不限席位和每月 100 美元额度，新价格将于 9 月对受影响的 Starter 和 Team/Enterprise 用户生效。
Modal Blog精选AI 评分6262 Modal 复现 Large Language Monkeys：LLaMA 3.1 8B 通过搜索在 HumanEval 上媲美 GPT-4o
Modal 的 Charles Frye 在新数据集上复现了 Large Language Monkeys 论文的核心主张，表明重复采样使 LLaMA 3.1 8B 在 HumanEval 上从 66.4% pass@1 提升至 90.5% pass@100 和 95.1% pass@1000，而 GPT-4o 报告的 pass@1 为 90.2%。运行使用 Modal 无服务器 GPU 上的 vLLM 和 Modal Sandboxes 进行并行测试执行，成本远低于 50 美元，并在三个数量级上展现出平滑、可预测的扩展。
推荐理由：一次亲手复现表明，使用小型开源模型进行重复采样可以在 HumanEval 上接近 GPT-4o，提供了一种具体、低成本的计算换准确率方案。
Modal BlogAI 评分2222 Modal 产品更新：Datadog 集成、区域选择、更低的函数延迟
Modal 的月度产品更新新增了 Datadog 集成，只需一键即可转发应用日志和审计日志；同时支持为函数选择云区域，以满足监管、出网成本或数据库本地化需求。该公司还重构了函数调用系统，以实现更高吞吐量和显著更低的开销，面向低延迟的实时生产工作负载；并全面改版了应用详情页，新增时间区间缩放、容器状态和镜像文件系统视图。
Modal BlogAI 评分3030 竞争性提示工程：Basis 在 Modal 上举办 Prompt Olympics
Basis 组织了 Prompt Olympics，这是一场竞技编程风格的提示工程竞赛，奖金为 5,000 美元，并在 Modal 的基础设施上运行。在其中一项挑战中，参赛者编写提示，引导部署在 Modal 上的 LLaMA 3 70B 生成代码，这些代码必须在 Modal Sandboxes 内通过测试。决赛环节要求选手通过提示模型来控制 Crafter 游戏智能体；Basis 发现，即便是 LLaMA 3 70B 这样能力较强的开源模型也难以有效提示，于是该组件改用了一家专有模型 API。
Modal BlogAI 评分2525 通过 Modal 从 Airflow 运行 GPU 任务
Modal 现在可以直接从 Airflow DAG 触发，让团队无需设置 Celery 或 Kubernetes 执行器即可运行 GPU 支持的 AI/ML 任务。该指南涵盖在 Airflow 环境中安装 Modal、设置 MODAL_TOKEN_ID 和 MODAL_TOKEN_SECRET，以及两种方法：通过查找调用已部署的 Modal Functions，或构建在 Modal Sandboxes 中运行 Python 的自定义 operator。一个 Modal Airflow provider 包正在开发中。
Modal BlogAI 评分3838 Modal 如何利用系统调用特征识别加密货币挖矿者
Modal 在其无服务器容器运行时中新增了一个名为 seccheck 的运行时程序分析组件，可在封禁违规用户之前检测并禁用用于加密货币挖矿的 Function。由于挖矿者可以更改元数据但无法更改其程序，Modal 分析的是系统调用日志，而非源代码、二进制文件或容器镜像。该系统避免了基于 ptrace 的 strace 开销——后者可能使系统调用密集的程序变慢 100 倍以上。
Cursor ChangelogAI 评分4040 Cursor 勾勒下一阶段 AI 编程难题：动作预测、完美编辑、最优上下文
Cursor 发布了其最初“Problems”文章的后续，列出了它认为对 AI 编程下一阶段最关键的研究问题。该公司已将 Copilot++ 扩展至预测下一个光标位置，并将其与下一次编辑预测相结合，使模型能够“玩转”一系列低熵变更——一个演示需要按 11 次 Tab 键，而其他每个键按 3 次，Cursor 称之为 Cursor Flow。其他方向包括跨代码库的动作预测、通过更多推理时计算实现完美编辑、幻觉伪代码、多文件编辑、最优上下文、多跳上下文以及缺陷检测与调试。
Modal BlogAI 评分2222 Hunch 如何利用 Modal Sandboxes 安全运行 AI 生成的代码
Hunch 是一个空间画布，集成了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，它使用 Modal Sandboxes 在隔离的临时容器中安全执行 AI 生成的代码。该集成只需几行 Python 代码，支持 pip 安装、挂载存储卷和自动扩缩容。Hunch 表示，这一设置让非程序员也能构建获取 API 数据或将结果发送到 Slack webhook 的工作流。
Modal BlogAI 评分3131 在 Heroicons 上微调 Stable Diffusion，打造无限图标库
Modal 在约 300 个 SVG 的 Heroicons 图标库上微调了一个 Stable Diffusion 模型，以生成该风格的新黑白线条图标，包括 barack-obama 和 golden-retriever 等概念的图标。完整流程——下载预训练模型、使用 HuggingFace Diffusers 的 train_text_to_image.py 脚本进行全量微调，以及提供 Gradio Web UI——都在 Modal 的无服务器 GPU 平台上运行。文章详细介绍了数据集准备（SVG 转 PNG、白色背景、caption metadata.csv），并指出全量微调效果最好，不过 LoRA 风格的并行适配器也可用于小数据集。
Modal BlogAI 评分2525 Substack为何将其AI和ML流水线迁移至Modal
Substack已将几乎所有机器学习模型的训练和部署——包括垃圾邮件检测、新闻通讯推荐、音频转录、情感分析和图像生成——从AWS SageMaker迁移至Modal。AI与ML工程负责人Mike Cohen指出，SageMaker的开发者体验繁琐复杂，代码难以在notebook之间共享，容器启动时间超过5分钟；而在Modal上，实现一个推理端点仅需一小时。Substack现在依托Modal的存储原语运行完整的微调、验证和部署工作流。
Modal BlogAI 评分1818 Modal 产品更新：云存储桶挂载、Okta SSO 等
Modal 的月度产品更新新增了针对 AWS S3 和 Cloudflare R2 存储桶的可写挂载、用于在指定端口托管非 ASGI/WSGI Web 服务器的 @web_server 装饰器，以及面向企业版用户的 Okta 单点登录。Web 仪表板中的卷查看器让用户可以浏览卷文件系统，最新客户端则通过 .include 支持多文件应用组合、分区队列，以及为 Sandboxes 提供 stdin 支持。
Modal BlogAI 评分5050 微调开源嵌入模型以超越 OpenAI 的 text-embedding-3-small
仅用少量示例，微调后的开源嵌入模型就能以更低的成本在准确率上超越 OpenAI 的 text-embedding-3-small。Modal 在 Quora 重复问题数据集上做了一项实验，以探究一个简单的问答用例需要多少微调数据，并介绍了如何在其无服务器基础设施上构建这样一个模型。
Modal BlogAI 评分2222 Ramp 如何在 Modal 上使用微调 LLM 实现收据处理自动化
Ramp 使用 Modal 微调其 LLM，并构建了一个文本转结构化 JSON 的模型用于收据管理，使需要人工干预的收据减少了 34%，其基础设施成本估计比 OpenAI 等主要 LLM 提供商便宜 79%。Modal 函数并行训练了许多候选模型，将权重持久化到 Modal volumes，并提供了一个参数化推理端点。一名工程师还将一个用于 25,000 张发票的 PII 剥离脚本移植到 Modal，在 256 个云 worker 上并行运行，20 分钟完成，花费 100 美元，而在本地则需要 3 天。
Modal BlogAI 评分3636 Modal 的 modal-http：在无服务器基础设施上提供 Web 函数服务
Modal 构建了 modal-http，这是一个 HTTP 和 WebSocket 协议栈，使其无服务器函数能够接受 Web 请求，最近已完成完整的 WebSocket 支持。与 AWS Lambda 的 15 分钟和 50 MB 限制不同，Modal 容器最多可使用 64 个 CPU、336 GB 内存和 8 块 Nvidia H100 GPU，因此团队将 HTTP 转换为函数调用，而不是用传统的反向代理来前置容器。
Modal BlogAI 评分3838 Modal 为实时应用新增 WebSocket 支持
Modal 现已支持 WebSocket 连接，使其平台上的函数能够在客户端与服务器之间维持持久、双向的链路，而非按请求建立的 HTTP 连接。每个 WebSocket 连接计为一次输入，因此不受 CPU/GPU 限制的函数应允许并发输入，否则 Modal 会为每个连接启动一个新容器。Modal 会自动扩缩 WebSocket 处理程序，面向实时流式传输、长时间运行任务的进度更新，以及托管 ComfyUI、Streamlit 和 Gradio 等框架。
Modal BlogAI 评分2222 Suno 如何借助 Modal 将上线时间缩短 4 个月
Suno 使用 Modal 在数千块 GPU 上扩展推理和批量预处理，使其音乐生成模型提前四个月推向市场，而无需招聘工程师来构建和维护基础设施。团队用几个简短的 Python 脚本、无需配置文件就完成了批量预处理，随后通过暴露 HTTP 的函数和跨多个模型与容器的链式推理扩展到模型部署。Modal 自动扩展到数千块 GPU，应对了假期需求高峰，且无需长期预留 GPU。
Modal BlogAI 评分2222 Modal 产品更新：支持 WebSocket、交互式命令和 H100 GPU
Modal 已为其函数添加 WebSocket 支持，可开箱即用地托管 Streamlit 等框架，并可通过 `modal container exec` 执行交互式命令，以检查和调试活动容器。H100 GPU 现已在 Modal 上可用，客户端更新新增了 `@build` 生命周期钩子、Volumes 的自动后台提交，以及包括 get、put 和 rm 在内的扩展 CLI 命令。
Modal BlogAI 评分3838 Modal 向所有用户开放 NVIDIA H100 GPU
Modal 已向所有用户开放 NVIDIA H100 GPU，每 GPU 每小时定价 7.65 美元。NVIDIA 基准测试显示，相比 A100，H100 的训练速度最高可提升 4 倍，推理速度最高可提升 30 倍，配备 80 GB 片上 DRAM，最多 8 块 GPU 可通过 NVLink 以 3.6 TB/s 互联。用户只需在 Modal 装饰器中把 GPU 类型设为 "H100" 即可启用。
Modal BlogAI 评分4040 用 Modal 和 Hugging Face TEI 在 15 分钟内嵌入英文维基百科
Modal 和 Hugging Face 的文本嵌入推理服务器可以在约 15 分钟内嵌入整个英文维基百科，成本仅略高于 15 美元，这得益于 Modal 的无服务器 GPU 弹性伸缩。文章认为，对于生产环境的 RAG，开源嵌入模型优于 OpenAI 的 text-embedding-ada-002 等基于 API 的模型，因为开源模型可以基于用户数据进行微调，并避免速率限制和按 token 计费的成本。
Modal BlogAI 评分5858 Modal 正式全面开放，并宣布 1600 万美元 A 轮融资
Modal 宣布其云函数平台现已全面开放，任何人都可以注册并在几分钟内于云端运行 Python 代码，此前该平台于 2022 年开放了等待名单。该平台提供按秒计费的无服务器执行、在 A100、A10G、T4、L4 和 H100 上自动扩缩的 GPU 推理端点，以及跨数千个容器的大规模批处理作业，无需 YAML 配置。Modal 还完成了由 Redpoint Ventures 领投的 1600 万美元 A 轮融资，种子轮领投方 Amplify Partners 也参与其中，并计划利用这笔资金加速其产品路线图。
Modal BlogAI 评分3636 Modal Labs 完成 1600 万美元 A 轮融资并推出其云基础设施平台
Modal Labs 已完成由 Redpoint Ventures 领投的 1600 万美元 A 轮融资，现有投资方 Amplify Partners 以及 Lux Capital、Definition Capital 等新参与方参投，总融资额达到 2300 万美元。该公司还正式推出了此前处于测试阶段的云平台，早期客户包括 Ramp、Substack 和 SphinxBio，并将利用这笔资金加速产品开发，并在其纽约市总部招聘工程师。
Cursor Changelog精选AI 评分6262 Cursor 分析 Llama-2-70B 推理成本与延迟，并与 GPT-3.5 对比
Cursor 在 2 块 80 GB A100 GPU 上测量了 Llama-2-70B 的推理，发现对于提示词 token，它比 GPT-3.5 便宜 3 倍以上，但在小批量下生成 token 的成本要高得多。提示词处理成本约为每 1K token 0.00042 美元，而 GPT-3.5 为 0.0015 美元；而在批量大小为 1 时，生成成本达到每 1K token 0.066 美元，只有在大批量下才接近 GPT-3.5 的定价，而这会将首 token 时间推至数秒。Cursor 建议对分类和重排序等提示词密集型任务使用开源模型，对生成密集型工作负载使用闭源 API。
推荐理由：Cursor 测量的成本和延迟数据展示了自托管 Llama-2-70B 何时优于 GPT-3.5、何时不优于，为开源模型服务决策提供了一个可复用的框架。
Cursor ChangelogAI 评分3838 Cursor 的 Arvid Lunnemark 谈为何 prompt 应被称为 prompt design
Cursor 研究员 Arvid Lunnemark 认为，prompt 应被称为“prompt design”，并与网页设计相类比，因为两者都追求与动态输入进行清晰沟通，并且都必须让内容适配不同的“尺寸”——网页适配屏幕尺寸，prompt 适配上下文窗口。他发布了 Priompt v0.1，这是一个类似 React、基于 JSX 的 prompt 设计库，已在 Cursor 内部使用，并附带一个预览站点，可用真实请求数据渲染 prompt。