如何对 LLM 进行基准测试：来自 OpenRouter 的代码评分指南

OpenRouter 发布了一份指南，介绍如何基于你自己应用的输入对 LLM 进行基准测试，用代码对输出评分，并比较准确率、计费成本和请求时间。在其 60 个合成任务上，GPT-6.1 Sol 在三次重复中共通过 180/180 次试验，而 DeepSeek 的响应成本最低，通过 157/180 次。与公开排名的吻合度较弱，Spearman 相关系数为 0.109。