跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。

62 条精选近 30 天 34 条共收录 472 条

11月13日 08:32更新

部署工程 · 精选 · 第 4 页

2024年8月5日周一第 61–62 条 / 共 62 条
  1. Modal Blog62

    Modal 复现 Large Language Monkeys：LLaMA 3.1 8B 通过搜索在 HumanEval 上媲美 GPT-4o

    Modal 的 Charles Frye 在新数据集上复现了 Large Language Monkeys 论文的核心主张，表明重复采样使 LLaMA 3.1 8B 在 HumanEval 上从 66.4% pass@1 提升至 90.5% pass@100 和 95.1% pass@1000，而 GPT-4o 报告的 pass@1 为 90.2%。运行使用 Modal 无服务器 GPU 上的 vLLM 和 Modal Sandboxes 进行并行测试执行，成本远低于 50 美元，并在三个数量级上展现出平滑、可预测的扩展。

    推荐理由：一次亲手复现表明，使用小型开源模型进行重复采样可以在 HumanEval 上接近 GPT-4o，提供了一种具体、低成本的计算换准确率方案。

2023年7月21日周五
  1. Cursor Changelog62

    Cursor 分析 Llama-2-70B 推理成本与延迟，并与 GPT-3.5 对比

    Cursor 在 2 块 80 GB A100 GPU 上测量了 Llama-2-70B 的推理，发现对于提示词 token，它比 GPT-3.5 便宜 3 倍以上，但在小批量下生成 token 的成本要高得多。提示词处理成本约为每 1K token 0.00042 美元，而 GPT-3.5 为 0.0015 美元；而在批量大小为 1 时，生成成本达到每 1K token 0.066 美元，只有在大批量下才接近 GPT-3.5 的定价，而这会将首 token 时间推至数秒。Cursor 建议对分类和重排序等提示词密集型任务使用开源模型，对生成密集型工作负载使用闭源 API。

    推荐理由：Cursor 测量的成本和延迟数据展示了自托管 Llama-2-70B 何时优于 GPT-3.5、何时不优于，为开源模型服务决策提供了一个可复用的框架。