Tới nội dung
Hacker News · AI·· 1 giờ trướcĐiểm AI34

tufazip giành vị trí #2 trên Large Text Compression Benchmark với Transformer 163M tham số

Learning to Compress a Billion Bytes of Wikipedia

Tóm tắt bằng AI

Một trình nén có tên tufazip đã đứng thứ hai trên Large Text Compression Benchmark của Matt Mahoney, nén tệp Wikipedia tỷ byte enwik9 xuống còn 105.388.353 byte (105,39 MB) bao gồm cả trọng số ngoại tuyến và bộ giải mã của nó. Mô hình dự đoán duy nhất của nó là một Transformer 12 lớp, 163M tham số được khởi tạo từ một mô hình ngoại tuyến 34M tham số được lượng tử hóa xuống 4,33 MB, với hai lớp được huấn luyện ngoại tuyến được sao chép vào mười hai lớp tiếp tục học trong quá trình nén. Bộ giải mã lặp lại cùng quá trình học, vì vậy trọng số đã học của mô hình đầy đủ không bao giờ cần được truyền.

Nguồn:Hacker News · AI · tufalabs.ai