ข้ามไปที่เนื้อหา
Hacker News · AI·· 1 ชม. ที่แล้วคะแนน AI47

Werkbank: 40 งานที่ใช้เครื่องมือเพื่อประเมิน LLM ที่โฮสต์เอง

Show HN: Werkbank – 40 tool-using tasks to evaluate self-hosted LLMs

สรุปโดย AI

Werkbank เป็นเบนช์มาร์กที่มอบงานที่ใช้เครื่องมือแบบคงที่ 40 งานในเจ็ดหมวดหมู่ให้กับโมเดลภาษาที่โฮสต์เอง และบันทึกเวลาและโทเคนที่แต่ละงานที่แก้ไขแล้วใช้ไป โดยทำงานผ่านเอนด์พอยต์ chat-completions ที่เข้ากันได้กับ OpenAI ทุกตัว รวมถึง vLLM, llama.cpp, SGLang, Ollama และ LM Studio และมีโหมด Trial, Quick, Normal และ Full ที่ต้องใช้บริบท 64K ถึง 256K ผลลัพธ์อธิบายการตั้งค่าเดียวของโมเดล การควอนไทซ์ เซิร์ฟเวอร์ และฮาร์ดแวร์ และไม่มีลีดเดอร์บอร์ด

แหล่งข่าว:Hacker News · AI · github.com