ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

tufazip ครองอันดับสองใน Large Text Compression Benchmark

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

คอมเพรสเซอร์ชื่อ tufazip อยู่อันดับสองใน Large Text Compression Benchmark ของ Matt Mahoney โดยบีบอัดไฟล์ Wikipedia ขนาดหนึ่งพันล้านไบต์ enwik9 เหลือ 105,388,353 ไบต์ (105.39 MB) ซึ่งตัวเลขนี้รวมน้ำหนักออฟไลน์และตัวถอดรหัสของมันด้วย โมเดลทำนายเดียวของมันคือ Transformer 12 ชั้น 163M พารามิเตอร์ เริ่มจากโมเดลออฟไลน์ 34M พารามิเตอร์ที่ควอนไทซ์เหลือ 4.33 MB และคัดลอกสองชั้นที่ฝึกออฟไลน์ไว้เข้าไปในสิบสองชั้นที่ยังคงเรียนรู้ระหว่างการบีบอัด ตัวถอดรหัสทำกระบวนการเรียนรู้แบบเดียวกันซ้ำ ดังนั้นจึงไม่จำเป็นต้องถ่ายโอนน้ำหนักที่เรียนรู้แล้วของโมเดลเต็ม

สร้างจากรายงาน · อัปเดต 59 นาทีที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

20 พฤศจิกายน
  1. Hacker News · AI
    tufazip คว้าอันดับ 2 ใน Large Text Compression Benchmark ด้วย Transformer ขนาด 163M พารามิเตอร์

    ตัวบีบอัดชื่อ tufazip อยู่อันดับสองใน Large Text Compression Benchmark ของ Matt Mahoney โดยบีบอัดไฟล์ Wikipedia ขนาดหนึ่งพันล้านไบต์ enwik9 เหลือ 105,388,353 ไบต์ (105.39 MB) รวมน้ำหนักออฟไลน์และตัวถอดรหัส โมเดลพยากรณ์เดียวของมันคือ Transformer 12 เลเยอร์ 163M พารามิเตอร์ ที่เริ่มต้นจากโมเดลออฟไลน์ 34M พารามิเตอร์ซึ่งควอนไทซ์เหลือ 4.33 MB โดยมีสองเลเยอร์ที่ฝึกออฟไลน์ถูกคัดลอกไปยังสิบสองเลเยอร์ที่ยังคงเรียนรู้ระหว่างการบีบอัด ตัวถอดรหัสทำกระบวนการเรียนรู้แบบเดียวกันซ้ำ ดังนั้นน้ำหนักที่เรียนรู้ของโมเดลเต็มจึงไม่จำเป็นต้องถูกถ่ายโอน

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม