Eclipse Aerospace 使用 Databricks PySpark 自定义数据源进行飞行数据摄取

Eclipse Aerospace 正在使用 Databricks PySpark 自定义数据源摄取近 20 年的专有飞行数据，超过 3TB，涵盖逾一百万飞行小时，且无需常开专用计算资源。这个由 Rust 支持的 Python 包在基准测试中的性能是基于 PyArrow 的类似纯 Python 数据源的两倍，几乎是不使用 Arrow 的原生 Python 实现的 20 倍。该 API 在 Apache Spark 4.0 中引入，并在 Databricks Runtime 15.4 LTS 中可用，取代了此前的 Lambda-to-Avro 管道。