Tới nội dung
Hacker News · AI·· 20 giờ trướcĐiểm AI52

Kiểm toán dựa trên Lean phát hiện lỗi làm tròn trong softmax và các toán tử khác trên PyTorch, JAX và TensorFlow

When Rounding Breaks Machine Learning

Tóm tắt bằng AI

Một cuộc kiểm toán dựa trên Lean đối với 162 mục toán tử TorchLean, so sánh với PyTorch, JAX, TensorFlow, NumPy, CuPy, ONNX Runtime và MLX trên khoảng 780 triệu đầu ra, đã phát hiện lỗi làm tròn dấu phẩy động trong mã được sử dụng rộng rãi bao gồm PyTorch, JAX, TensorFlow Probability, diffusers, PyTorch Geometric và xLSTM, trong đó nhiều lỗi chưa từng được báo cáo trước đây. Trong đợt quét Lean, 57.547 đầu ra (96,8%) khớp với kết quả chính xác được làm tròn một lần, trong khi 1.329 đầu ra khớp với chuỗi phép toán làm tròn được chỉ định của TorchLean. Công trình này xây dựng trên FloatLib, một thư viện Lean cho số học dấu phẩy động độ chính xác tùy ý với chiến lược roundoff chứng minh các giới hạn sai số, và tác giả lưu ý rằng việc chứng minh một công thức đúng trên số thực không thiết lập được độ chính xác dấu phẩy động của nó.

Nguồn:Hacker News · AI · robertj1.com