tufazip 在大型文本压缩基准测试中排名第二
热点事件持续更新
tufazip 在大型文本压缩基准测试中排名第二
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
一个名为 tufazip 的压缩器在 Matt Mahoney 的大型文本压缩基准测试中排名第二,将十亿字节的维基百科文件 enwik9 压缩至 105,388,353 字节(105.39 MB),该数字包含其离线权重和解码器。 它唯一的预测模型是一个 12 层、1.63 亿参数的 Transformer。它从一个量化为 4.33 MB 的 3400 万参数离线模型开始,并将两个离线训练的层复制到十二个在压缩过程中持续学习的层中。解码器重复相同的学习过程,因此完整模型学习到的权重永远不需要传输。
AI 根据报道生成 · 59 分钟前更新
最新进展11月20日 06:10
tufazip 凭借 163M 参数 Transformer 在大型文本压缩基准测试中排名第二报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- Hacker News · AItufazip 凭借 163M 参数 Transformer 在大型文本压缩基准测试中排名第二
一个名为 tufazip 的压缩器在 Matt Mahoney 的大型文本压缩基准测试中排名第二,将十亿字节的维基百科文件 enwik9 压缩至 105,388,353 字节(105.39 MB),其中包含其离线权重和解码器。其唯一的预测模型是一个 12 层、163M 参数的 Transformer,由一个量化为 4.33 MB 的 34M 参数离线模型初始化,两个离线训练层被复制到十二层中,在压缩过程中持续学习。解码器重复相同的学习过程,因此完整模型学习到的权重永远不需要传输。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。