Eclipse Aerospace 使用 PySpark 自定义数据源进行飞行数据摄取

根据 Databricks 的一份案例研究，Eclipse Aerospace 正在使用 Databricks PySpark 自定义数据源来摄取近 20 年的专有飞行数据——超过 3TB，涵盖超过一百万飞行小时——而无需始终开启的专用计算。Databricks 表示，这个由 Rust 支持的 Python 包在基准测试中的性能是类似的基于 PyArrow 的纯 Python 数据源的两倍，并且是不带 Arrow 的原生 Python 实现的近 20 倍。 该 API 在 Apache Spark 4.0 中引入，取代了 Eclipse 之前的 Lambda-to-Avro 管道。Eclipse 和 Databricks 表示，新路径降低了延迟、重复和运营开销，同时保持了 Databricks Serverless 的灵活性。 PySpark 自定义数据源在 Databricks Runtime 15.4 LTS 及以上版本中可用，或在无服务器环境版本 2 中可用。

AI 根据报道生成 · 16 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。