การตรวจสอบโดยใช้ Lean พบข้อบกพร่องการปัดเศษใน softmax และตัวดำเนินการอื่น ๆ ทั่ว PyTorch, JAX และ TensorFlow
When Rounding Breaks Machine Learning
การตรวจสอบโดยใช้ Lean ของรายการตัวดำเนินการ TorchLean จำนวน 162 รายการ เมื่อเทียบกับ PyTorch, JAX, TensorFlow, NumPy, CuPy, ONNX Runtime และ MLX จากผลลัพธ์ราว 780 ล้านรายการ พบข้อบกพร่องการปัดเศษทศนิยมในโค้ดที่ใช้กันอย่างแพร่หลาย รวมถึง PyTorch, JAX, TensorFlow Probability, diffusers, PyTorch Geometric และ xLSTM ซึ่งหลายรายการไม่เคยมีผู้รายงานมาก่อน ในการตรวจสอบด้วย Lean มีผลลัพธ์ 57,547 รายการ (96.8%) ตรงกับผลลัพธ์ที่แน่นอนเมื่อปัดเศษเพียงครั้งเดียว ขณะที่ 1,329 รายการตรงกับลำดับการดำเนินการที่ปัดเศษตามที่ TorchLean กำหนด งานนี้ต่อยอดจาก FloatLib ซึ่งเป็นไลบรารี Lean สำหรับเลขทศนิยมความแม่นยำตามอำเภอใจที่มี tactic ชื่อ roundoff ใช้พิสูจน์ขอบเขตข้อผิดพลาด และผู้เขียนตั้งข้อสังเกตว่าการพิสูจน์ว่าสูตรหนึ่งถูกต้องบนจำนวนจริงไม่ได้ยืนยันความแม่นยำเชิงทศนิยมของสูตรนั้น
แหล่งข่าว:Hacker News · AI · robertj1.com