OpenRouter Publishes Code-Graded LLM Benchmarking Guide
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
OpenRouter published a guide for benchmarking LLMs on a user's own application inputs, grading outputs with code and comparing accuracy, billed cost and request time. On its 60 synthetic tasks, GPT-6.1 Sol passed 180 of 180 trials across three repeats, while DeepSeek had the lowest response cost at 157 of 180 passes. OpenRouter reports that agreement with the public ranking was weak, with a Spearman correlation of 0.109. The teaching runner, JSON example and comparisons passed offline checks on Windows x64 and Linux; the bundled full-study sandbox and native Ori setup support Windows x64 only. Offline checks make no API calls, and paid runs require the explicit —live flag.
สร้างจากรายงาน · อัปเดต 13 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- OpenRouter Announcementsวิธี Benchmark LLMs: คู่มือการให้คะแนนด้วยโค้ดจาก OpenRouter
OpenRouter เผยแพร่คู่มือสำหรับการ benchmark LLMs ด้วยอินพุตของแอปพลิเคชันของคุณเอง ให้คะแนนเอาต์พุตด้วยโค้ด และเปรียบเทียบความแม่นยำ ค่าใช้จ่ายที่เรียกเก็บ และเวลาที่ใช้ในการร้องขอ บนงานสังเคราะห์ 60 งาน GPT-6.1 Sol ผ่าน 180/180 ครั้งจากการทำซ้ำสามรอบ ขณะที่ DeepSeek มีค่าใช้จ่ายในการตอบสนองต่ำที่สุดที่ 180 ครั้งผ่าน 157 ครั้ง ความสอดคล้องกับอันดับสาธารณะอยู่ในระดับต่ำ โดยมีสหสัมพันธ์สเปียร์แมนที่ 0.109
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม