跳至正文
熱點事件持續更新

Apache DataSketches CPC 表遺失的 OCaml 生成器已重建

1 篇報導1 個報導來源50 分鐘前更新

先了解這件事

AI 綜述

Tison Kun 發表了一篇技術文章,重建了 Apache DataSketches 的 CPC sketch 中,那些硬編碼的 Huffman、排列、多項式與信賴度表背後遺失的 OCaml 生成器程式碼。原始建模程式碼由 Kevin J. Lang 撰寫,他於 2019 年 4 月去世,程式碼寫在一台已不存在的機器上;CpcSketch 的 Rust 移植版本在出貨時已包含這些表,卻沒有任何生成器原始碼。 由於已提交進版本庫的表及其 20 位數標頭註解可作為嚴格的數值對照基準,每個候選生成器都能立即接受測試:它要麼在 IEEE-754 精度範圍內重現每一個碼字、排列項目與浮點診斷值,要麼就是錯的。這項重建工作成為 PR-355,將生成器與推導過程以單元測試的形式加入 datasketches-rust。全部 23 個 Huffman 表與 16 個排列表現在都有位元精確的建構式測試,而 Monte Carlo 信賴度表則記錄了單元測試並不驗證經驗單元格值或真實覆蓋率。百萬次試驗的模擬器與原始輸出保留在本機,並未提交進 PR。 這個移植版本已在 ScopeDB 生產環境運行超過六個月,在相同精度下,序列化後的 CPC 相較於 HLL 可節省 30% 到 40% 的儲存空間。

AI 依報導生成 · 45 分鐘前更新

報導時間線

沿著報導,了解事件的不同側面。

11月16日
  1. Hacker News · AI
    逆向工程 Kevin J. Lang 在 Apache DataSketches 中遺失的 OCaml 程式碼

    Apache DataSketches 的 CpcSketch 的 Rust 移植版本,讓其硬編碼的 Huffman 與 ICON 查表失去了任何生成器原始碼,因為 Kevin J. Lang 是在一台已不存在的機器上用 OCaml 撰寫原始建模程式碼。Lang 於 2019 年 4 月辭世,他發明了 CPC 演算法,並共同撰寫了 KLL sketch。該移植版本已在 ScopeDB 生產環境運行超過六個月,且在同等準確度下,序列化後的 CPC 相較於 HLL 可減少 30% 到 40% 的儲存空間。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。