如何对 LLM 进行基准测试：来自 OpenRouter 的代码评分指南
OpenRouter 发布了一份指南，介绍如何基于你自己应用的输入对 LLM 进行基准测试，用代码对输出评分，并比较准确率、计费成本和请求时间。在其 60 个合成任务上，GPT-6.1 Sol 在三次重复中共通过 180/180 次试验，而 DeepSeek 的响应成本最低，通过 157/180 次。与公开排名的吻合度较弱，Spearman 相关系数为 0.109。
#DeepSeek
OpenRouter AnnouncementsAI 评分2828 vLLM Blog精选AI 评分7272 vLLM 在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash，吞吐量达 GB300 NVL72 的 58 倍
vLLM 报告称，在单台 NVIDIA Vera Rubin NVL72 机架上服务 DeepSeek-V4.1-Flash，每 GPU 达到 170 万 tokens/s，每用户 387 tokens/s，是 GB300 NVL72 的 58 倍，峰值达 252 万 tokens/s，单用户达 1,810 tokens/s。性能提升来自为 Rubin 的分裂内存域和 FP4 张量核心重建的 kernel、专用的 TP8 解码路径，以及通过 NVLink 共享的机架级 KV 和 Engram 池。借助跨机架池化前缀和 Dynamo 工作负载感知路由，即使在高并发下前缀命中率也保持在 96.5-97%。
推荐理由：vLLM 关于 DeepSeek-V4.1-Flash 的第三篇文章详细说明了 Rubin 专用 kernel 和机架级内存池化如何将吞吐量提升至 GB300 NVL72 的 58 倍，为大规模服务优化提供了具体参考。
vLLM Blog精选AI 评分7777 REINFORCE Zero：内核对齐使异步强化学习在策略滞后64时保持稳定，并扩展至DeepSeek-V4.1和Kimi K3.1
NVIDIA Research与Inferact的REINFORCE Zero论文表明，对齐rollout与训练器内核后，未裁剪的token级重要性采样能够纠正剩余的权重滞后，在策略滞后64时稳定训练20,000次更新，并在内核对齐的情况下达到同步训练训练步吞吐量的2.40倍。使用标准内核时，整个运行过程中rollout到学习器的KL中位数上升83.33倍，在线AIME24 pass@1从34.27%降至13.96%，而序列门控虽能稳定训练，但在最后1,000次更新时拒绝了24.48%的序列。零失配设置现已覆盖DeepSeek-V4.1-Flash、发布当日的Kimi K3.1，以及AMD MI355X上的DeepSeek-V4-Flash和Kimi K3.1，代码位于Inferact/zero-mismatch-rl和NVIDIA-NeMo/labs-molt。
推荐理由：NVIDIA Research与Inferact将异步强化学习的rollout-学习器差距拆分为权重滞后和内核失配，表明对齐内核可使未裁剪的重要性采样在策略滞后64时保持稳定训练。
Vapi BlogAI 评分3030 面向语音 AI 开发者的 DeepSeek R1 与 V3 对比
DeepSeek V3 每秒处理的 token 数量比 R1 多 47%，每百万输出 token 收费 0.28 美元；R1 每百万输出 token 收费 2.19 美元，并会为更难的任务运行内部推理循环。R1 在 MATH-500 上得分 97.3%，在 AIME 2024 上得分 79.8%；V3 则分别为 90.2% 和 39.2%。多数团队将 80-90% 的简单查询交给 V3，把复杂推理工作交给 R1。