如何對 LLM 進行基準測試：OpenRouter 的程式碼評分指南

OpenRouter 發布了一份指南，說明如何以你自己應用程式的輸入對 LLM 進行基準測試，用程式碼為輸出評分，並比較準確率、計費成本和請求時間。在其 60 項合成任務中，GPT-6.1 Sol 在三次重複中共通過 180/180 次試驗，而 DeepSeek 的通過次數為 157/180，回應成本最低。與公開排名的吻合度較弱，Spearman 相關係數為 0.109。