Hacker News · AI·· 1 小時前AI 評分34
tufazip 以 163M 參數 Transformer 在大型文字壓縮基準測試中奪得第二名
Learning to Compress a Billion Bytes of Wikipedia
AI 導讀
一款名為 tufazip 的壓縮器在 Matt Mahoney 的大型文字壓縮基準測試中排名第二,將十億位元組的維基百科檔案 enwik9 壓縮至 105,388,353 位元組(105.39 MB),其中包含其離線權重與解碼器。其唯一的預測模型是一個 12 層、163M 參數的 Transformer,由一個量化至 4.33 MB 的 34M 參數離線模型初始化而來,並將兩個離線訓練的層複製到十二層中,這些層在壓縮過程中持續學習。解碼器重複相同的學習過程,因此完整模型所學到的權重永遠不需要被傳輸。
來源:Hacker News · AI · tufalabs.ai