Hacker News · AI·· 1 giờ trướcĐiểm AI34
tufazip giành vị trí #2 trên Large Text Compression Benchmark với Transformer 163M tham số
Learning to Compress a Billion Bytes of Wikipedia
Tóm tắt bằng AI
Một trình nén có tên tufazip đã đứng thứ hai trên Large Text Compression Benchmark của Matt Mahoney, nén tệp Wikipedia tỷ byte enwik9 xuống còn 105.388.353 byte (105,39 MB) bao gồm cả trọng số ngoại tuyến và bộ giải mã của nó. Mô hình dự đoán duy nhất của nó là một Transformer 12 lớp, 163M tham số được khởi tạo từ một mô hình ngoại tuyến 34M tham số được lượng tử hóa xuống 4,33 MB, với hai lớp được huấn luyện ngoại tuyến được sao chép vào mười hai lớp tiếp tục học trong quá trình nén. Bộ giải mã lặp lại cùng quá trình học, vì vậy trọng số đã học của mô hình đầy đủ không bao giờ cần được truyền.
Nguồn:Hacker News · AI · tufalabs.ai