用 Modal 和 Hugging Face TEI 在 15 分钟内嵌入英文维基百科
Modal 和 Hugging Face 的文本嵌入推理服务器可以在约 15 分钟内嵌入整个英文维基百科，成本仅略高于 15 美元，这得益于 Modal 的无服务器 GPU 弹性伸缩。文章认为，对于生产环境的 RAG，开源嵌入模型优于 OpenAI 的 text-embedding-ada-002 等基于 API 的模型，因为开源模型可以基于用户数据进行微调，并避免速率限制和按 token 计费的成本。
全部动态
Modal BlogAI 评分4040
Cursor ChangelogAI 评分3838 Cursor 的问题清单：更好的上下文、编辑 Copilot、受限代理
Cursor 发布了一份正在解决的问题清单，包括训练一个自定义的快速重排序器，将来自所有来源的 50 万个 token 过滤到每次请求最相关的 8k。清单还涵盖面向编辑的 copilot、面向大型代码库的受限流内代理、缺陷查找以及更大规模的编辑。截至 2023 年 10 月 12 日，Cursor 已索引 14 亿个向量和 15 万个代码库。
Modal BlogAI 评分5858 Modal 正式全面开放，并宣布 1600 万美元 A 轮融资
Modal 宣布其云函数平台现已全面开放，任何人都可以注册并在几分钟内于云端运行 Python 代码，此前该平台于 2022 年开放了等待名单。该平台提供按秒计费的无服务器执行、在 A100、A10G、T4、L4 和 H100 上自动扩缩的 GPU 推理端点，以及跨数千个容器的大规模批处理作业，无需 YAML 配置。Modal 还完成了由 Redpoint Ventures 领投的 1600 万美元 A 轮融资，种子轮领投方 Amplify Partners 也参与其中，并计划利用这笔资金加速其产品路线图。
Modal BlogAI 评分3636 Modal Labs 完成 1600 万美元 A 轮融资并推出其云基础设施平台
Modal Labs 已完成由 Redpoint Ventures 领投的 1600 万美元 A 轮融资，现有投资方 Amplify Partners 以及 Lux Capital、Definition Capital 等新参与方参投，总融资额达到 2300 万美元。该公司还正式推出了此前处于测试阶段的云平台，早期客户包括 Ramp、Substack 和 SphinxBio，并将利用这笔资金加速产品开发，并在其纽约市总部招聘工程师。
Cursor Changelog精选AI 评分6262 Cursor 分析 Llama-2-70B 推理成本与延迟，并与 GPT-3.5 对比
Cursor 在 2 块 80 GB A100 GPU 上测量了 Llama-2-70B 的推理，发现对于提示词 token，它比 GPT-3.5 便宜 3 倍以上，但在小批量下生成 token 的成本要高得多。提示词处理成本约为每 1K token 0.00042 美元，而 GPT-3.5 为 0.0015 美元；而在批量大小为 1 时，生成成本达到每 1K token 0.066 美元，只有在大批量下才接近 GPT-3.5 的定价，而这会将首 token 时间推至数秒。Cursor 建议对分类和重排序等提示词密集型任务使用开源模型，对生成密集型工作负载使用闭源 API。
推荐理由：Cursor 测量的成本和延迟数据展示了自托管 Llama-2-70B 何时优于 GPT-3.5、何时不优于，为开源模型服务决策提供了一个可复用的框架。
Cursor ChangelogAI 评分3838 Cursor 的 Arvid Lunnemark 谈为何 prompt 应被称为 prompt design
Cursor 研究员 Arvid Lunnemark 认为，prompt 应被称为“prompt design”，并与网页设计相类比，因为两者都追求与动态输入进行清晰沟通，并且都必须让内容适配不同的“尺寸”——网页适配屏幕尺寸，prompt 适配上下文窗口。他发布了 Priompt v0.1，这是一个类似 React、基于 JSX 的 prompt 设计库，已在 Cursor 内部使用，并附带一个预览站点，可用真实请求数据渲染 prompt。