Hacker News · AI·· 1 ชม. ที่แล้วคะแนน AI34
tufazip คว้าอันดับ 2 ใน Large Text Compression Benchmark ด้วย Transformer ขนาด 163M พารามิเตอร์
Learning to Compress a Billion Bytes of Wikipedia
สรุปโดย AI
ตัวบีบอัดชื่อ tufazip อยู่อันดับสองใน Large Text Compression Benchmark ของ Matt Mahoney โดยบีบอัดไฟล์ Wikipedia ขนาดหนึ่งพันล้านไบต์ enwik9 เหลือ 105,388,353 ไบต์ (105.39 MB) รวมน้ำหนักออฟไลน์และตัวถอดรหัส โมเดลพยากรณ์เดียวของมันคือ Transformer 12 เลเยอร์ 163M พารามิเตอร์ ที่เริ่มต้นจากโมเดลออฟไลน์ 34M พารามิเตอร์ซึ่งควอนไทซ์เหลือ 4.33 MB โดยมีสองเลเยอร์ที่ฝึกออฟไลน์ถูกคัดลอกไปยังสิบสองเลเยอร์ที่ยังคงเรียนรู้ระหว่างการบีบอัด ตัวถอดรหัสทำกระบวนการเรียนรู้แบบเดียวกันซ้ำ ดังนั้นน้ำหนักที่เรียนรู้ของโมเดลเต็มจึงไม่จำเป็นต้องถูกถ่ายโอน
แหล่งข่าว:Hacker News · AI · tufalabs.ai