Cursor 分析 Llama-2-70B 推理成本与延迟，并与 GPT-3.5 对比

Cursor 在 2 块 80 GB A100 GPU 上测量了 Llama-2-70B 的推理，发现对于提示词 token，它比 GPT-3.5 便宜 3 倍以上，但在小批量下生成 token 的成本要高得多。提示词处理成本约为每 1K token 0.00042 美元，而 GPT-3.5 为 0.0015 美元；而在批量大小为 1 时，生成成本达到每 1K token 0.066 美元，只有在大批量下才接近 GPT-3.5 的定价，而这会将首 token 时间推至数秒。Cursor 建议对分类和重排序等提示词密集型任务使用开源模型，对生成密集型工作负载使用闭源 API。