Hacker News · AI·· 20 小時前AI 評分52
基於 Lean 的稽核在 PyTorch、JAX 與 TensorFlow 的 softmax 等運算子中發現捨入錯誤
When Rounding Breaks Machine Learning
AI 導讀
一項以 Lean 為基礎、涵蓋 162 個 TorchLean 運算子條目的稽核,對照 PyTorch、JAX、TensorFlow、NumPy、CuPy、ONNX Runtime 與 MLX,比較約 7.8 億筆輸出後,在 PyTorch、JAX、TensorFlow Probability、diffusers、PyTorch Geometric 與 xLSTM 等廣泛使用的程式碼中發現浮點捨入錯誤,其中數個此前從未被回報。在 Lean 掃描中,57,547 筆輸出(96.8%)與僅捨入一次的精确結果相符,另有 1,329 筆與 TorchLean 所指定的一連串捨入運算相符。此工作建立在 FloatLib 之上;FloatLib 是一個用於任意精度浮點運算的 Lean 函式庫,其 roundoff 策略可證明誤差界限。作者指出,在實數上證明某個公式正確,並不能確立其浮點精度。
來源:Hacker News · AI · robertj1.com