跳至正文
熱點事件持續更新

tufazip 在大型文字壓縮基準中排名第二

1 篇報導1 個報導來源1 小時前更新

先了解這件事

AI 綜述

一款名為 tufazip 的壓縮器在 Matt Mahoney 的大型文字壓縮基準中排名第二,將十億位元組的維基百科檔案 enwik9 壓縮至 105,388,353 位元組(105.39 MB),該數字包含其離線權重與解碼器。 它唯一的預測模型是一個 12 層、1.63 億參數的 Transformer。它從一個量化至 4.33 MB 的 3,400 萬參數離線模型開始,並將兩個離線訓練的層複製到十二個在壓縮期間持續學習的層中。解碼器重複相同的學習過程,因此完整模型學習到的權重永遠不需要被傳輸。

AI 依報導生成 · 59 分鐘前更新

報導時間線

沿著報導,了解事件的不同側面。

11月20日
  1. Hacker News · AI
    tufazip 以 163M 參數 Transformer 在大型文字壓縮基準測試中奪得第二名

    一款名為 tufazip 的壓縮器在 Matt Mahoney 的大型文字壓縮基準測試中排名第二,將十億位元組的維基百科檔案 enwik9 壓縮至 105,388,353 位元組(105.39 MB),其中包含其離線權重與解碼器。其唯一的預測模型是一個 12 層、163M 參數的 Transformer,由一個量化至 4.33 MB 的 34M 參數離線模型初始化而來,並將兩個離線訓練的層複製到十二層中,這些層在壓縮過程中持續學習。解碼器重複相同的學習過程,因此完整模型所學到的權重永遠不需要被傳輸。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。