DocBlocks เปิดตัว docbench เบนช์มาร์กสำหรับโมเดลเอกสารในเครื่อง
เริ่มตรงนี้
DocBlocks ได้เผยแพร่ docbench ซึ่งเป็นเบนช์มาร์กแบบสังเคราะห์ที่ให้คะแนนโมเดลในเครื่อง 24 ตัวบนงานด้านเอกสาร ชุดทดสอบครอบคลุมงานหกประเภท — รีวิว การเขียน แผนภูมิ สไลด์ สื่อช่วยเรียน และการทำความสะอาดบทถอดเสียง — รวม 102 กรณีทดสอบและ 142 เอาต์พุต โดยขนาดโมเดลอยู่ระหว่าง 0.8B ถึง 35B พารามิเตอร์ เบนช์มาร์กนี้เน้นโมเดลขนาดเล็กในกลุ่มที่ต่ำกว่า 12,000 ล้านพารามิเตอร์ แต่ละโมเดลรันบน llama.cpp โดยส่วนใหญ่เป็นบิลด์ 4-bit (Q4) พร้อมคอนเท็กซ์ 32,768 โทเคน ซึ่ง DocBlocks อธิบายว่าเป็นสิ่งที่เครื่องมือ Gezel ของบริษัทมอบให้แล็ปท็อปที่ทรัพยากรจำกัด เอกสารทดสอบทั้งหมดเป็นภาษาอังกฤษ และความเร็วไม่ได้เป็นส่วนหนึ่งของคะแนน ดังนั้นโมเดลที่ช้าซึ่งเขียนได้ดีก็ยังได้คะแนนดี
สร้างจากรายงาน · อัปเดต
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIDocBlocks เปิดตัว docbench: การประเมินงานเอกสารด้วยโมเดลขนาดเล็กในเครื่อง 24 ตัว
ทีม DocBlocks เปิดตัว docbench โดยใช้กรณีทดสอบ 102 กรณี (เอาต์พุต 142 รายการ) ให้คะแนนโมเดลในเครื่อง 24 ตัวที่มีพารามิเตอร์ 0.8B ถึง 35B ในงานเอกสาร 6 ประเภท ได้แก่ การตรวจทาน การเขียน แผนภูมิ สไลด์ สื่อช่วยเรียนรู้ และการทำความสะอาดบทถอดเสียง
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม