Hacker News · AI·· 1 小时前AI 评分34
tufazip 凭借 163M 参数 Transformer 在大型文本压缩基准测试中排名第二
Learning to Compress a Billion Bytes of Wikipedia
AI 导读
一个名为 tufazip 的压缩器在 Matt Mahoney 的大型文本压缩基准测试中排名第二,将十亿字节的维基百科文件 enwik9 压缩至 105,388,353 字节(105.39 MB),其中包含其离线权重和解码器。其唯一的预测模型是一个 12 层、163M 参数的 Transformer,由一个量化为 4.33 MB 的 34M 参数离线模型初始化,两个离线训练层被复制到十二层中,在压缩过程中持续学习。解码器重复相同的学习过程,因此完整模型学习到的权重永远不需要传输。
来源:Hacker News · AI · tufalabs.ai