Eclipse Aerospace 使用 PySpark 自訂資料來源進行飛航資料擷取
先了解這件事
根據 Databricks 案例研究，Eclipse Aerospace 正使用 Databricks PySpark 自訂資料來源，擷取近 20 年的專有飛航資料——超過 3TB、涵蓋逾一百萬飛行小時——且無需常時開啟的專用運算資源。Databricks 表示，這個以 Rust 為後端的 Python 套件，效能達到基準測試中類似 PyArrow 純 Python 資料來源的兩倍，也接近未使用 Arrow 的原生 Python 實作之 20 倍。 此 API 於 Apache Spark 4.0 推出，取代 Eclipse 先前的 Lambda-to-Avro 管線。Eclipse 與 Databricks 表示，新路徑降低了延遲、重複與營運負擔，同時保留 Databricks Serverless 的彈性。 PySpark 自訂資料來源適用於 Databricks Runtime 15.4 LTS 及以上版本，或 serverless 環境版本 2。
AI 依報導生成 · 16 小時前更新
報導時間線
沿著報導，了解事件的不同側面。
- Databricks BlogEclipse Aerospace 使用 Databricks PySpark 自訂資料來源進行飛行資料擷取
Eclipse Aerospace 正使用 Databricks PySpark 自訂資料來源，擷取近 20 年的專有飛行資料，總量超過 3TB、涵蓋逾一百萬飛行小時，且無需常時開啟的專用運算資源。這個以 Rust 為後端的 Python 套件，在基準測試中的效能是類似的純 Python PyArrow 資料來源的兩倍，也幾乎是未使用 Arrow 的原生 Python 實作的 20 倍。此 API 於 Apache Spark 4.0 推出，並可在 Databricks Runtime 15.4 LTS 中使用，取代了先前的 Lambda-to-Avro 管線。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。