OpenRouter 發佈以程式碼評分的 LLM 基準測試指南
熱點事件觀察中
OpenRouter 發佈以程式碼評分的 LLM 基準測試指南
1 篇報導1 個報導來源2 天前更新
先了解這件事
AI 綜述
OpenRouter 發佈了一份指南，說明如何以使用者自己應用程式的輸入對 LLM 進行基準測試，用程式碼為輸出評分，並比較準確率、計費成本與請求時間。在其 60 項合成任務中，GPT-6.1 Sol 在三次重複共 180 次試驗中通過 180 次，而 DeepSeek 的通過次數為 180 次中的 157 次，回應成本最低。OpenRouter 表示，與公開排名的吻合度偏弱，Spearman 相關係數為 0.109。 教學執行器、JSON 範例與比較項目已在 Windows x64 與 Linux 上通過離線檢查；隨附的完整研究沙箱與原生 Ori 設定僅支援 Windows x64。離線檢查不會發出任何 API 呼叫，付費執行則需要明確加上 —live 旗標。
AI 依報導生成 · 15 小時前更新
最新進展11月12日 08:00
如何對 LLM 進行基準測試：OpenRouter 的程式碼評分指南報導時間線
沿著報導，了解事件的不同側面。
11月12日
- OpenRouter Announcements如何對 LLM 進行基準測試：OpenRouter 的程式碼評分指南
OpenRouter 發布了一份指南，說明如何以你自己應用程式的輸入對 LLM 進行基準測試，用程式碼為輸出評分，並比較準確率、計費成本和請求時間。在其 60 項合成任務中，GPT-6.1 Sol 在三次重複中共通過 180/180 次試驗，而 DeepSeek 的通過次數為 157/180，回應成本最低。與公開排名的吻合度較弱，Spearman 相關係數為 0.109。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。