ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

สร้างเครื่องมือสร้าง OCaml ที่หายไปสำหรับตาราง CPC ของ Apache DataSketches ขึ้นใหม่

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 50 นาทีที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Tison Kun เผยแพร่บทความเกี่ยวกับการสร้างโค้ดเครื่องมือสร้าง OCaml ที่หายไปซึ่งอยู่เบื้องหลังตาราง Huffman, permutation, polynomial และ confidence แบบฮาร์ดโค้ดใน CPC sketch ของ Apache DataSketches โค้ดต้นแบบสำหรับการสร้างแบบจำลองเดิมเขียนโดย Kevin J. Lang ซึ่งเสียชีวิตในเดือนเมษายน 2019 บนเครื่องที่ไม่มีอยู่แล้ว ส่วนพอร์ต Rust ของ CpcSketch ได้นำตารางเหล่านี้ออกเผยแพร่โดยไม่มีซอร์สของเครื่องมือสร้างใด ๆ เนื่องจากตารางที่เช็กอินไว้และคอมเมนต์ส่วนหัวที่มีตัวเลข 20 หลักทำหน้าที่เป็น numerical oracle ที่เข้มงวด เครื่องมือสร้างแต่ละตัวที่เสนอจึงสามารถทดสอบได้ทันที: ไม่ว่าจะสร้าง codeword ทุกตัว รายการ permutation ทุกรายการ และ diagnostic แบบ floating-point ทุกค่าซ้ำได้ภายในความแม่นยำ IEEE-754 หรือไม่ก็ผิด การสร้างขึ้นใหม่นี้กลายเป็น PR-355 ซึ่งเพิ่มเครื่องมือสร้างและที่มาของการคำนวณเข้าไปใน datasketches-rust ในฐานะยูนิตเทสต์ ตอนนี้ตาราง Huffman ทั้ง 23 ตารางและตาราง permutation 16 ตารางมี constructive test ที่ตรงกันทุกบิตแล้ว ขณะที่ตาราง Monte Carlo confidence ระบุว่ายูนิตเทสต์ไม่ได้ตรวจสอบค่าเซลล์เชิงประจักษ์หรือ coverage ที่แท้จริง ซิมูเลเตอร์ล้านรอบและเอาต์พุตดิบถูกเก็บไว้ในเครื่องแทนที่จะเช็กอินเข้า PR พอร์ตนี้ทำงานในโปรดักชันของ ScopeDB มาเกินหกเดือนแล้ว และ CPC ที่ serialize แล้วช่วยลดพื้นที่จัดเก็บได้ 30% ถึง 40% เมื่อเทียบกับ HLL ที่ความแม่นยำเท่ากัน

สร้างจากรายงาน · อัปเดต 44 นาทีที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

16 พฤศจิกายน
  1. Hacker News · AI
    ย้อนรอยโค้ด OCaml ที่สูญหายของ Kevin J. Lang ใน Apache DataSketches

    พอร์ต Rust ของ CpcSketch ใน Apache DataSketches ทิ้งตารางค้นหา Huffman และ ICON ที่ฮาร์ดโค้ดไว้โดยไม่มีซอร์สโค้ดตัวสร้าง เนื่องจาก Kevin J. Lang เขียนโค้ดสร้างแบบจำลองต้นฉบับใน OCaml บนเครื่องที่ไม่มีอยู่แล้ว Lang ซึ่งเสียชีวิตในเดือนเมษายน 2019 เป็นผู้คิดค้นอัลกอริทึม CPC และเป็นผู้ร่วมเขียน KLL sketch พอร์ตนี้ทำงานในระบบโปรดักชันของ ScopeDB มานานกว่าหกเดือน และ CPC ที่ทำซีเรียลไลซ์ลดพื้นที่จัดเก็บได้ 30% ถึง 40% เมื่อเทียบกับ HLL ที่ความแม่นยำเท่ากัน

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม