ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

DocBlocks เปิดตัว docbench เบนช์มาร์กสำหรับโมเดลเอกสารในเครื่อง

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 31 นาทีที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

DocBlocks ได้เผยแพร่ docbench ซึ่งเป็นเบนช์มาร์กแบบสังเคราะห์ที่ให้คะแนนโมเดลในเครื่อง 24 ตัวบนงานด้านเอกสาร ชุดทดสอบครอบคลุมงานหกประเภท — รีวิว การเขียน แผนภูมิ สไลด์ สื่อช่วยเรียน และการทำความสะอาดบทถอดเสียง — รวม 102 กรณีทดสอบและ 142 เอาต์พุต โดยขนาดโมเดลอยู่ระหว่าง 0.8B ถึง 35B พารามิเตอร์ เบนช์มาร์กนี้เน้นโมเดลขนาดเล็กในกลุ่มที่ต่ำกว่า 12,000 ล้านพารามิเตอร์ แต่ละโมเดลรันบน llama.cpp โดยส่วนใหญ่เป็นบิลด์ 4-bit (Q4) พร้อมคอนเท็กซ์ 32,768 โทเคน ซึ่ง DocBlocks อธิบายว่าเป็นสิ่งที่เครื่องมือ Gezel ของบริษัทมอบให้แล็ปท็อปที่ทรัพยากรจำกัด เอกสารทดสอบทั้งหมดเป็นภาษาอังกฤษ และความเร็วไม่ได้เป็นส่วนหนึ่งของคะแนน ดังนั้นโมเดลที่ช้าซึ่งเขียนได้ดีก็ยังได้คะแนนดี

สร้างจากรายงาน · อัปเดต

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

17 พฤศจิกายน
  1. Hacker News · AI
    DocBlocks เปิดตัว docbench: การประเมินงานเอกสารด้วยโมเดลขนาดเล็กในเครื่อง 24 ตัว

    ทีม DocBlocks เปิดตัว docbench โดยใช้กรณีทดสอบ 102 กรณี (เอาต์พุต 142 รายการ) ให้คะแนนโมเดลในเครื่อง 24 ตัวที่มีพารามิเตอร์ 0.8B ถึง 35B ในงานเอกสาร 6 ประเภท ได้แก่ การตรวจทาน การเขียน แผนภูมิ สไลด์ สื่อช่วยเรียนรู้ และการทำความสะอาดบทถอดเสียง

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม