Hunch 是一个空间画布，集成了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，它使用 Modal Sandboxes 在隔离的临时容器中安全执行 AI 生成的代码。该集成只需几行 Python 代码，支持 pip 安装、挂载存储卷和自动扩缩容。Hunch 表示，这一设置让非程序员也能构建获取 API 数据或将结果发送到 Slack webhook 的工作流。
Modal 在约 300 个 SVG 的 Heroicons 图标库上微调了一个 Stable Diffusion 模型，以生成该风格的新黑白线条图标，包括 barack-obama 和 golden-retriever 等概念的图标。完整流程——下载预训练模型、使用 HuggingFace Diffusers 的 train_text_to_image.py 脚本进行全量微调，以及提供 Gradio Web UI——都在 Modal 的无服务器 GPU 平台上运行。文章详细介绍了数据集准备（SVG 转 PNG、白色背景、caption metadata.csv），并指出全量微调效果最好，不过 LoRA 风格的并行适配器也可用于小数据集。
Substack已将几乎所有机器学习模型的训练和部署——包括垃圾邮件检测、新闻通讯推荐、音频转录、情感分析和图像生成——从AWS SageMaker迁移至Modal。AI与ML工程负责人Mike Cohen指出，SageMaker的开发者体验繁琐复杂，代码难以在notebook之间共享，容器启动时间超过5分钟；而在Modal上，实现一个推理端点仅需一小时。Substack现在依托Modal的存储原语运行完整的微调、验证和部署工作流。
Modal 的月度产品更新新增了针对 AWS S3 和 Cloudflare R2 存储桶的可写挂载、用于在指定端口托管非 ASGI/WSGI Web 服务器的 @web_server 装饰器，以及面向企业版用户的 Okta 单点登录。Web 仪表板中的卷查看器让用户可以浏览卷文件系统，最新客户端则通过 .include 支持多文件应用组合、分区队列，以及为 Sandboxes 提供 stdin 支持。
仅用少量示例，微调后的开源嵌入模型就能以更低的成本在准确率上超越 OpenAI 的 text-embedding-3-small。Modal 在 Quora 重复问题数据集上做了一项实验，以探究一个简单的问答用例需要多少微调数据，并介绍了如何在其无服务器基础设施上构建这样一个模型。
面向 AI 与数据团队的无服务器平台 Modal 入选 Wing 第六届年度 Enterprise Tech 30 榜单，在早期阶段类别十家公司中排名第三。该榜单由 112 位风险投资人和 36 个企业投资团队从近 600 家获得风险投资的私营企业科技公司中评选得出。
Ramp 使用 Modal 微调其 LLM，并构建了一个文本转结构化 JSON 的模型用于收据管理，使需要人工干预的收据减少了 34%，其基础设施成本估计比 OpenAI 等主要 LLM 提供商便宜 79%。Modal 函数并行训练了许多候选模型，将权重持久化到 Modal volumes，并提供了一个参数化推理端点。一名工程师还将一个用于 25,000 张发票的 PII 剥离脚本移植到 Modal，在 256 个云 worker 上并行运行，20 分钟完成，花费 100 美元，而在本地则需要 3 天。
Modal 构建了 modal-http，这是一个 HTTP 和 WebSocket 协议栈，使其无服务器函数能够接受 Web 请求，最近已完成完整的 WebSocket 支持。与 AWS Lambda 的 15 分钟和 50 MB 限制不同，Modal 容器最多可使用 64 个 CPU、336 GB 内存和 8 块 Nvidia H100 GPU，因此团队将 HTTP 转换为函数调用，而不是用传统的反向代理来前置容器。
Modal 现已支持 WebSocket 连接，使其平台上的函数能够在客户端与服务器之间维持持久、双向的链路，而非按请求建立的 HTTP 连接。每个 WebSocket 连接计为一次输入，因此不受 CPU/GPU 限制的函数应允许并发输入，否则 Modal 会为每个连接启动一个新容器。Modal 会自动扩缩 WebSocket 处理程序，面向实时流式传输、长时间运行任务的进度更新，以及托管 ComfyUI、Streamlit 和 Gradio 等框架。
Suno 使用 Modal 在数千块 GPU 上扩展推理和批量预处理，使其音乐生成模型提前四个月推向市场，而无需招聘工程师来构建和维护基础设施。团队用几个简短的 Python 脚本、无需配置文件就完成了批量预处理，随后通过暴露 HTTP 的函数和跨多个模型与容器的链式推理扩展到模型部署。Modal 自动扩展到数千块 GPU，应对了假期需求高峰，且无需长期预留 GPU。
Modal 已为其函数添加 WebSocket 支持，可开箱即用地托管 Streamlit 等框架，并可通过 `modal container exec` 执行交互式命令，以检查和调试活动容器。H100 GPU 现已在 Modal 上可用，客户端更新新增了 `@build` 生命周期钩子、Volumes 的自动后台提交，以及包括 get、put 和 rm 在内的扩展 CLI 命令。
Modal 已向所有用户开放 NVIDIA H100 GPU，每 GPU 每小时定价 7.65 美元。NVIDIA 基准测试显示，相比 A100，H100 的训练速度最高可提升 4 倍，推理速度最高可提升 30 倍，配备 80 GB 片上 DRAM，最多 8 块 GPU 可通过 NVLink 以 3.6 TB/s 互联。用户只需在 Modal 装饰器中把 GPU 类型设为 "H100" 即可启用。
Modal 和 Hugging Face 的文本嵌入推理服务器可以在约 15 分钟内嵌入整个英文维基百科，成本仅略高于 15 美元，这得益于 Modal 的无服务器 GPU 弹性伸缩。文章认为，对于生产环境的 RAG，开源嵌入模型优于 OpenAI 的 text-embedding-ada-002 等基于 API 的模型，因为开源模型可以基于用户数据进行微调，并避免速率限制和按 token 计费的成本。
Cursor 发布了一份正在解决的问题清单，包括训练一个自定义的快速重排序器，将来自所有来源的 50 万个 token 过滤到每次请求最相关的 8k。清单还涵盖面向编辑的 copilot、面向大型代码库的受限流内代理、缺陷查找以及更大规模的编辑。截至 2023 年 10 月 12 日，Cursor 已索引 14 亿个向量和 15 万个代码库。
Modal 宣布其云函数平台现已全面开放，任何人都可以注册并在几分钟内于云端运行 Python 代码，此前该平台于 2022 年开放了等待名单。该平台提供按秒计费的无服务器执行、在 A100、A10G、T4、L4 和 H100 上自动扩缩的 GPU 推理端点，以及跨数千个容器的大规模批处理作业，无需 YAML 配置。Modal 还完成了由 Redpoint Ventures 领投的 1600 万美元 A 轮融资，种子轮领投方 Amplify Partners 也参与其中，并计划利用这笔资金加速其产品路线图。
Modal Labs 已完成由 Redpoint Ventures 领投的 1600 万美元 A 轮融资，现有投资方 Amplify Partners 以及 Lux Capital、Definition Capital 等新参与方参投，总融资额达到 2300 万美元。该公司还正式推出了此前处于测试阶段的云平台，早期客户包括 Ramp、Substack 和 SphinxBio，并将利用这笔资金加速产品开发，并在其纽约市总部招聘工程师。
Cursor 在 2 块 80 GB A100 GPU 上测量了 Llama-2-70B 的推理，发现对于提示词 token，它比 GPT-3.5 便宜 3 倍以上，但在小批量下生成 token 的成本要高得多。提示词处理成本约为每 1K token 0.00042 美元，而 GPT-3.5 为 0.0015 美元；而在批量大小为 1 时，生成成本达到每 1K token 0.066 美元，只有在大批量下才接近 GPT-3.5 的定价，而这会将首 token 时间推至数秒。Cursor 建议对分类和重排序等提示词密集型任务使用开源模型，对生成密集型工作负载使用闭源 API。
推荐理由：Cursor 测量的成本和延迟数据展示了自托管 Llama-2-70B 何时优于 GPT-3.5、何时不优于，为开源模型服务决策提供了一个可复用的框架。
Cursor 研究员 Arvid Lunnemark 认为，prompt 应被称为“prompt design”，并与网页设计相类比，因为两者都追求与动态输入进行清晰沟通，并且都必须让内容适配不同的“尺寸”——网页适配屏幕尺寸，prompt 适配上下文窗口。他发布了 Priompt v0.1，这是一个类似 React、基于 JSX 的 prompt 设计库，已在 Cursor 内部使用，并附带一个预览站点，可用真实请求数据渲染 prompt。