Modal 现已支持 WebSocket 连接，使其平台上的函数能够在客户端与服务器之间维持持久、双向的链路，而非按请求建立的 HTTP 连接。每个 WebSocket 连接计为一次输入，因此不受 CPU/GPU 限制的函数应允许并发输入，否则 Modal 会为每个连接启动一个新容器。Modal 会自动扩缩 WebSocket 处理程序，面向实时流式传输、长时间运行任务的进度更新，以及托管 ComfyUI、Streamlit 和 Gradio 等框架。
Suno 使用 Modal 在数千块 GPU 上扩展推理和批量预处理，使其音乐生成模型提前四个月推向市场，而无需招聘工程师来构建和维护基础设施。团队用几个简短的 Python 脚本、无需配置文件就完成了批量预处理，随后通过暴露 HTTP 的函数和跨多个模型与容器的链式推理扩展到模型部署。Modal 自动扩展到数千块 GPU，应对了假期需求高峰，且无需长期预留 GPU。
Modal 已为其函数添加 WebSocket 支持，可开箱即用地托管 Streamlit 等框架，并可通过 `modal container exec` 执行交互式命令，以检查和调试活动容器。H100 GPU 现已在 Modal 上可用，客户端更新新增了 `@build` 生命周期钩子、Volumes 的自动后台提交，以及包括 get、put 和 rm 在内的扩展 CLI 命令。
Modal 已向所有用户开放 NVIDIA H100 GPU，每 GPU 每小时定价 7.65 美元。NVIDIA 基准测试显示，相比 A100，H100 的训练速度最高可提升 4 倍，推理速度最高可提升 30 倍，配备 80 GB 片上 DRAM，最多 8 块 GPU 可通过 NVLink 以 3.6 TB/s 互联。用户只需在 Modal 装饰器中把 GPU 类型设为 "H100" 即可启用。
Modal 和 Hugging Face 的文本嵌入推理服务器可以在约 15 分钟内嵌入整个英文维基百科，成本仅略高于 15 美元，这得益于 Modal 的无服务器 GPU 弹性伸缩。文章认为，对于生产环境的 RAG，开源嵌入模型优于 OpenAI 的 text-embedding-ada-002 等基于 API 的模型，因为开源模型可以基于用户数据进行微调，并避免速率限制和按 token 计费的成本。
Cursor 发布了一份正在解决的问题清单，包括训练一个自定义的快速重排序器，将来自所有来源的 50 万个 token 过滤到每次请求最相关的 8k。清单还涵盖面向编辑的 copilot、面向大型代码库的受限流内代理、缺陷查找以及更大规模的编辑。截至 2023 年 10 月 12 日，Cursor 已索引 14 亿个向量和 15 万个代码库。
Modal 宣布其云函数平台现已全面开放，任何人都可以注册并在几分钟内于云端运行 Python 代码，此前该平台于 2022 年开放了等待名单。该平台提供按秒计费的无服务器执行、在 A100、A10G、T4、L4 和 H100 上自动扩缩的 GPU 推理端点，以及跨数千个容器的大规模批处理作业，无需 YAML 配置。Modal 还完成了由 Redpoint Ventures 领投的 1600 万美元 A 轮融资，种子轮领投方 Amplify Partners 也参与其中，并计划利用这笔资金加速其产品路线图。
Modal Labs 已完成由 Redpoint Ventures 领投的 1600 万美元 A 轮融资，现有投资方 Amplify Partners 以及 Lux Capital、Definition Capital 等新参与方参投，总融资额达到 2300 万美元。该公司还正式推出了此前处于测试阶段的云平台，早期客户包括 Ramp、Substack 和 SphinxBio，并将利用这笔资金加速产品开发，并在其纽约市总部招聘工程师。
Cursor 在 2 块 80 GB A100 GPU 上测量了 Llama-2-70B 的推理，发现对于提示词 token，它比 GPT-3.5 便宜 3 倍以上，但在小批量下生成 token 的成本要高得多。提示词处理成本约为每 1K token 0.00042 美元，而 GPT-3.5 为 0.0015 美元；而在批量大小为 1 时，生成成本达到每 1K token 0.066 美元，只有在大批量下才接近 GPT-3.5 的定价，而这会将首 token 时间推至数秒。Cursor 建议对分类和重排序等提示词密集型任务使用开源模型，对生成密集型工作负载使用闭源 API。
推荐理由：Cursor 测量的成本和延迟数据展示了自托管 Llama-2-70B 何时优于 GPT-3.5、何时不优于，为开源模型服务决策提供了一个可复用的框架。
Cursor 研究员 Arvid Lunnemark 认为，prompt 应被称为“prompt design”，并与网页设计相类比，因为两者都追求与动态输入进行清晰沟通，并且都必须让内容适配不同的“尺寸”——网页适配屏幕尺寸，prompt 适配上下文窗口。他发布了 Priompt v0.1，这是一个类似 React、基于 JSX 的 prompt 设计库，已在 Cursor 内部使用，并附带一个预览站点，可用真实请求数据渲染 prompt。