如何對 LLM 進行基準測試：OpenRouter 的程式碼評分指南
OpenRouter 發布了一份指南，說明如何以你自己應用程式的輸入對 LLM 進行基準測試，用程式碼為輸出評分，並比較準確率、計費成本和請求時間。在其 60 項合成任務中，GPT-6.1 Sol 在三次重複中共通過 180/180 次試驗，而 DeepSeek 的通過次數為 157/180，回應成本最低。與公開排名的吻合度較弱，Spearman 相關係數為 0.109。
#DeepSeek
OpenRouter AnnouncementsAI 評分2828 vLLM Blog精選AI 評分7272 vLLM 在 Vera Rubin NVL72 上服務 DeepSeek-V4.1-Flash，吞吐量達 GB300 NVL72 的 58 倍
vLLM 報告指出，在單一 NVIDIA Vera Rubin NVL72 機架上服務 DeepSeek-V4.1-Flash，每 GPU 達 1.7M tokens/s、每位使用者 387 tokens/s，為 GB300 NVL72 的 58 倍，峰值達 2.52M tokens/s，單一使用者可達 1,810 tokens/s。這些增益來自為 Rubin 分割記憶體域與 FP4 張量核心重建的 kernel、專用的 TP8 解碼路徑，以及透過 NVLink 共享的整機架 KV 與 Engram 池。透過整機架的前綴池化與 Dynamo 的工作負載感知路由，即使在高併發下前綴命中率仍維持在 96.5-97%。
推薦理由：vLLM 第三篇 DeepSeek-V4.1-Flash 文章詳述 Rubin 專用 kernel 與整機架記憶體池化如何將吞吐量提升至 GB300 NVL72 的 58 倍，為大規模服務優化提供了具體參考。
vLLM Blog精選AI 評分7777 REINFORCE Zero：核心對齊讓非同步 RL 在策略延遲 64 下穩定訓練，並擴展至 DeepSeek-V4.1 與 Kimi K3.1
NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示，對齊 rollout 與訓練器的核心，可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲，在策略延遲 64 下穩定訓練 20,000 次更新，並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時，rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍，線上 AIME24 pass@1 從 34.27% 降至 13.96%，而序列閘門雖能穩定訓練，但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1，以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1，程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。
推薦理由：NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配，顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。
Vapi BlogAI 評分3030 DeepSeek R1 與 V3：語音 AI 開發者該怎麼選
DeepSeek V3 每秒處理的 token 數比 R1 多 47%，每百萬輸出 token 收費 0.28 美元；R1 每百萬收費 2.19 美元，並會針對較難的任務執行內部推理迴圈。R1 在 MATH-500 上得分 97.3%、在 AIME 2024 上得分 79.8%，V3 則分別為 90.2% 與 39.2%。多數團隊會把 80-90% 的簡單查詢導向 V3，並將複雜的推理工作交給 R1。