跳到正文
热点事件持续更新

tufazip 在大型文本压缩基准测试中排名第二

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

一个名为 tufazip 的压缩器在 Matt Mahoney 的大型文本压缩基准测试中排名第二,将十亿字节的维基百科文件 enwik9 压缩至 105,388,353 字节(105.39 MB),该数字包含其离线权重和解码器。 它唯一的预测模型是一个 12 层、1.63 亿参数的 Transformer。它从一个量化为 4.33 MB 的 3400 万参数离线模型开始,并将两个离线训练的层复制到十二个在压缩过程中持续学习的层中。解码器重复相同的学习过程,因此完整模型学习到的权重永远不需要传输。

AI 根据报道生成 · 59 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. Hacker News · AI
    tufazip 凭借 163M 参数 Transformer 在大型文本压缩基准测试中排名第二

    一个名为 tufazip 的压缩器在 Matt Mahoney 的大型文本压缩基准测试中排名第二,将十亿字节的维基百科文件 enwik9 压缩至 105,388,353 字节(105.39 MB),其中包含其离线权重和解码器。其唯一的预测模型是一个 12 层、163M 参数的 Transformer,由一个量化为 4.33 MB 的 34M 参数离线模型初始化,两个离线训练层被复制到十二层中,在压缩过程中持续学习。解码器重复相同的学习过程,因此完整模型学习到的权重永远不需要传输。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。