tufazip đứng thứ hai trên Large Text Compression Benchmark
Bắt đầu từ đây
Một trình nén có tên tufazip đã đứng thứ hai trên Large Text Compression Benchmark của Matt Mahoney, nén tệp Wikipedia một tỷ byte enwik9 xuống còn 105.388.353 byte (105,39 MB), con số này bao gồm cả trọng số ngoại tuyến và bộ giải mã của nó. Mô hình dự đoán duy nhất của nó là một Transformer 12 lớp với 163M tham số. Nó khởi đầu từ một mô hình ngoại tuyến 34M tham số được lượng tử hóa xuống còn 4,33 MB, và hai lớp được huấn luyện ngoại tuyến được sao chép vào mười hai lớp tiếp tục học trong quá trình nén. Bộ giải mã lặp lại cùng quá trình học, vì vậy trọng số đã học của mô hình đầy đủ không bao giờ cần được chuyển giao.
Tạo từ các bài viết · cập nhật 59 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AItufazip giành vị trí #2 trên Large Text Compression Benchmark với Transformer 163M tham số
Một trình nén có tên tufazip đã đứng thứ hai trên Large Text Compression Benchmark của Matt Mahoney, nén tệp Wikipedia tỷ byte enwik9 xuống còn 105.388.353 byte (105,39 MB) bao gồm cả trọng số ngoại tuyến và bộ giải mã của nó. Mô hình dự đoán duy nhất của nó là một Transformer 12 lớp, 163M tham số được khởi tạo từ một mô hình ngoại tuyến 34M tham số được lượng tử hóa xuống 4,33 MB, với hai lớp được huấn luyện ngoại tuyến được sao chép vào mười hai lớp tiếp tục học trong quá trình nén. Bộ giải mã lặp lại cùng quá trình học, vì vậy trọng số đã học của mô hình đầy đủ không bao giờ cần được truyền.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.