跳到正文
热点事件持续更新

Apache DataSketches CPC 表中丢失的 OCaml 生成器被重建

1 篇报道1 个报道来源50 分钟前更新

先了解这件事

AI 综述

Tison Kun 发表了一篇技术文章,重建了 Apache DataSketches 的 CPC sketch 中硬编码的 Huffman、排列、多项式和置信度表背后丢失的 OCaml 生成器代码。原始建模代码由 Kevin J. Lang 编写,他于 2019 年 4 月去世,代码写在一台已不复存在的机器上;CpcSketch 的 Rust 移植版在发布这些表时没有任何生成器源码。 由于已检入的表及其 20 位头部注释充当了严格的数值基准,每个候选生成器都可以立即被测试:它要么在 IEEE-754 精度内复现每一个码字、排列条目和浮点诊断值,要么就是错的。这次重建成为 PR-355,它将生成器和推导过程作为单元测试添加到 datasketches-rust 中。全部 23 个 Huffman 表和 16 个排列表现在都有了位精确的构造性测试,而 Monte Carlo 置信度表则记录了单元测试并不验证经验单元格值或真实覆盖率。百万次试验模拟器和原始输出保留在本地,而没有检入 PR。 该移植版已在 ScopeDB 生产环境中运行超过六个月,在同等精度下,序列化后的 CPC 相比 HLL 可减少 30% 到 40% 的存储占用。

AI 根据报道生成 · 45 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. Hacker News · AI
    逆向工程 Kevin J. Lang 在 Apache DataSketches 中失传的 OCaml 代码

    Apache DataSketches 的 CpcSketch 的 Rust 移植版留下了硬编码的 Huffman 和 ICON 查找表,却没有任何生成器源码,因为 Kevin J. Lang 是在一台已不复存在的机器上用 OCaml 编写了原始建模代码。Lang 于 2019 年 4 月去世,他是 CPC 算法的作者,也是 KLL sketch 的合著者。该移植版已在 ScopeDB 生产环境中运行超过六个月,在同等精度下,序列化后的 CPC 相比 HLL 可将存储降低 30% 到 40%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。