Hacker News · AI·· 20 小时前AI 评分52
基于 Lean 的审计发现 PyTorch、JAX 和 TensorFlow 中 softmax 及其他算子存在舍入错误
When Rounding Breaks Machine Learning
AI 导读
一项基于 Lean 的审计检查了 162 个 TorchLean 算子条目,并与 PyTorch、JAX、TensorFlow、NumPy、CuPy、ONNX Runtime 和 MLX 进行对比,覆盖约 7.8 亿个输出,结果在包括 PyTorch、JAX、TensorFlow Probability、diffusers、PyTorch Geometric 和 xLSTM 在内的广泛使用的代码中发现了浮点舍入错误,其中若干此前从未被报告。在 Lean 扫描中,57,547 个输出(96.8%)与仅舍入一次的精确结果一致,而 1,329 个输出与 TorchLean 指定的舍入操作序列一致。这项工作建立在 FloatLib 之上,FloatLib 是一个用于任意精度浮点运算的 Lean 库,其 roundoff 策略可证明误差界;作者指出,在实数上证明一个公式正确,并不能确立其浮点精度。
来源:Hacker News · AI · robertj1.com