Zyphra 發布 PUFFER，一套用於持續演進訓練語料的增量模糊去重系統

Zyphra 以 Apache 2.0 授權發布 PUFFER，這是一套開源、具備來源感知能力的增量模糊去重系統，用於持續成長的 LLM 訓練語料。相較於現有基於 CPU 的去重方法，它帶來 11 倍至 35 倍的加速，並可在單一進程上於 1.75 小時內攝入十億份文件，且已在超過 300 億份文件上進行生產部署。PUFFER 保留一份存於磁碟的 MinHash-LSH 歷史紀錄，因此可以新增資料集、以確定性方式恢復中斷的工作，並可撤除個別資料集而無需重建整個語料索引。