Zyphra 发布 PUFFER：面向持续演进训练语料的增量模糊去重系统

Zyphra 以 Apache 2.0 许可证开源发布了 PUFFER，这是一个具备来源感知能力的增量模糊去重系统，面向持续增长的 LLM 训练语料。相比现有基于 CPU 的去重方法，它实现了 11 倍至 35 倍的加速，单进程可在 1.75 小时内摄取 10 亿份文档，并已在超过 300 亿份文档上完成生产部署。PUFFER 维护一份驻留磁盘的 MinHash-LSH 历史记录，因此可以新增数据集、确定性地恢复中断的任务，并单独撤出某个数据集而无需重建整个语料索引。