ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Werkbank เปิดตัว benchmark 40 งานสำหรับ LLM ที่โฮสต์เอง

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Werkbank ซึ่งเป็น benchmark สำหรับโมเดลภาษาที่โฮสต์เอง ได้เปิดตัวแล้ว โดยมี 40 งานที่ใช้เครื่องมือแบบคงที่ในเจ็ดหมวดหมู่ ระบบบันทึกเวลาและจำนวนโทเคนที่แต่ละงานที่แก้ไขแล้วใช้ และทำงานผ่าน endpoint แบบ chat-completions ที่เข้ากันได้กับ OpenAI ซึ่งส่งคืน native tool calls และจำนวนโทเคน เช่น vLLM, llama.cpp, SGLang, Ollama หรือ LM Studio ต้องใช้ Linux หรือ Linux ภายใน WSL2 บน Windows และโมเดลต้องถูกให้บริการภายใต้ชื่อ ไม่ใช่พาธไฟล์ โหมด Trial, Quick, Normal และ Full ต้องใช้ context 64K ถึง 256K โดย Quick ที่ 64K, Normal ที่ 128K และ Full ที่ 256K ผลลัพธ์อธิบายการตั้งค่าเดียวของโมเดล การควอนไทซ์ เซิร์ฟเวอร์ และฮาร์ดแวร์ และไม่มี leaderboard โค้ดอยู่ภายใต้สัญญาอนุญาต Apache 2.0 และเอกสารอยู่ภายใต้ CC BY 4.0

สร้างจากรายงาน · อัปเดต 42 นาทีที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

18 พฤศจิกายน
  1. Hacker News · AI
    Werkbank: 40 งานที่ใช้เครื่องมือเพื่อประเมิน LLM ที่โฮสต์เอง

    Werkbank เป็นเบนช์มาร์กที่มอบงานที่ใช้เครื่องมือแบบคงที่ 40 งานในเจ็ดหมวดหมู่ให้กับโมเดลภาษาที่โฮสต์เอง และบันทึกเวลาและโทเคนที่แต่ละงานที่แก้ไขแล้วใช้ไป โดยทำงานผ่านเอนด์พอยต์ chat-completions ที่เข้ากันได้กับ OpenAI ทุกตัว รวมถึง vLLM, llama.cpp, SGLang, Ollama และ LM Studio และมีโหมด Trial, Quick, Normal และ Full ที่ต้องใช้บริบท 64K ถึง 256K ผลลัพธ์อธิบายการตั้งค่าเดียวของโมเดล การควอนไทซ์ เซิร์ฟเวอร์ และฮาร์ดแวร์ และไม่มีลีดเดอร์บอร์ด

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม