Eclipse Aerospace 使用 Databricks PySpark 自訂資料來源進行飛行資料擷取

Eclipse Aerospace 正使用 Databricks PySpark 自訂資料來源，擷取近 20 年的專有飛行資料，總量超過 3TB、涵蓋逾一百萬飛行小時，且無需常時開啟的專用運算資源。這個以 Rust 為後端的 Python 套件，在基準測試中的效能是類似的純 Python PyArrow 資料來源的兩倍，也幾乎是未使用 Arrow 的原生 Python 實作的 20 倍。此 API 於 Apache Spark 4.0 推出，並可在 Databricks Runtime 15.4 LTS 中使用，取代了先前的 Lambda-to-Avro 管線。