Tái tạo các trình sinh OCaml bị thất lạc cho bảng CPC của Apache DataSketches
Bắt đầu từ đây
Tison Kun đã công bố một bài viết tái tạo lại mã trình sinh OCaml bị thất lạc đằng sau các bảng Huffman, hoán vị, đa thức và độ tin cậy được mã hóa cứng trong CPC sketch của Apache DataSketches. Mã mô hình hóa gốc được viết bởi Kevin J. Lang, người đã qua đời vào tháng 4 năm 2019, trên một cỗ máy không còn tồn tại; một bản chuyển port sang Rust của CpcSketch đã phát hành các bảng này mà không có bất kỳ mã nguồn trình sinh nào. Vì các bảng đã được đưa vào kho lưu trữ cùng các chú thích tiêu đề 20 chữ số của chúng đóng vai trò như một oracle số học nghiêm ngặt, mỗi trình sinh ứng viên đều có thể được kiểm tra ngay lập tức: hoặc nó tái tạo mọi codeword, mọi mục hoán vị và mọi chẩn đoán dấu phẩy động trong độ chính xác IEEE-754, hoặc nó sai. Quá trình tái tạo đã trở thành PR-355, bổ sung các trình sinh và các dẫn xuất vào datasketches-rust dưới dạng unit test. Toàn bộ 23 bảng Huffman và 16 bảng hoán vị giờ đây đều có các bài kiểm tra xây dựng khớp chính xác từng bit, trong khi các bảng độ tin cậy Monte Carlo ghi nhận rằng unit test không xác minh các giá trị ô thực nghiệm hay độ phủ thực sự. Trình mô phỏng hàng triệu lần thử và các đầu ra thô được giữ cục bộ thay vì đưa vào PR. Bản port đã chạy trong môi trường production của ScopeDB hơn sáu tháng, và CPC được tuần tự hóa giúp giảm 30% đến 40% dung lượng lưu trữ so với HLL ở cùng độ chính xác.
Tạo từ các bài viết · cập nhật 44 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIDịch ngược mã OCaml thất lạc của Kevin J. Lang trong Apache DataSketches
Một bản chuyển mã sang Rust của CpcSketch thuộc Apache DataSketches đã để lại các bảng tra cứu Huffman và ICON được mã hóa cứng mà không có bất kỳ mã nguồn sinh nào, vì Kevin J. Lang đã viết mã mô hình hóa gốc bằng OCaml trên một cỗ máy không còn tồn tại. Lang, người qua đời vào tháng 4 năm 2019, là tác giả của thuật toán CPC và đồng tác giả của KLL sketch. Bản chuyển mã đã chạy trong môi trường sản xuất của ScopeDB hơn sáu tháng, và CPC được tuần tự hóa giúp giảm 30% đến 40% dung lượng lưu trữ so với HLL ở cùng độ chính xác.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.