OpenRouter 发布代码评分式 LLM 基准测试指南
热点事件观察中
OpenRouter 发布代码评分式 LLM 基准测试指南
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
OpenRouter 发布了一份指南，介绍如何基于用户自己的应用输入对 LLM 进行基准测试，用代码对输出评分，并比较准确率、计费成本和请求时间。在其 60 个合成任务上，GPT-6.1 Sol 在三次重复中共通过 180 次试验中的 180 次，而 DeepSeek 的响应成本最低，通过 180 次中的 157 次。OpenRouter 报告称，与公开排名的吻合度较弱，Spearman 相关系数为 0.109。 教学运行器、JSON 示例和对比在 Windows x64 和 Linux 上通过了离线检查；捆绑的完整研究沙箱和原生 Ori 设置仅支持 Windows x64。离线检查不进行任何 API 调用，付费运行需要显式使用 —live 标志。
AI 根据报道生成 · 15 小时前更新
最新进展11月12日 08:00
如何对 LLM 进行基准测试：来自 OpenRouter 的代码评分指南报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- OpenRouter Announcements如何对 LLM 进行基准测试：来自 OpenRouter 的代码评分指南
OpenRouter 发布了一份指南，介绍如何基于你自己应用的输入对 LLM 进行基准测试，用代码对输出评分，并比较准确率、计费成本和请求时间。在其 60 个合成任务上，GPT-6.1 Sol 在三次重复中共通过 180/180 次试验，而 DeepSeek 的响应成本最低，通过 157/180 次。与公开排名的吻合度较弱，Spearman 相关系数为 0.109。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。