Eclipse Aerospace ใช้ Databricks PySpark custom data sources สำหรับการนำเข้าข้อมูลเที่ยวบิน

Eclipse Aerospace กำลังใช้ Databricks PySpark custom data sources เพื่อนำเข้าข้อมูลเที่ยวบินเฉพาะของบริษัทเกือบ 20 ปี ปริมาณกว่า 3TB ครอบคลุมชั่วโมงบินกว่าหนึ่งล้านชั่วโมง โดยไม่ต้องใช้คอมพิวต์เฉพาะที่เปิดตลอดเวลา แพ็กเกจ Python ที่รองรับด้วย Rust ให้ประสิทธิภาพเป็นสองเท่าของ benchmark เมื่อเทียบกับ data source แบบ pure-Python ที่ใช้ PyArrow ในลักษณะเดียวกัน และเกือบ 20 เท่าของการใช้งานแบบ native Python ที่ไม่ใช้ Arrow API นี้ซึ่งเปิดตัวใน Apache Spark 4.0 และพร้อมใช้ใน Databricks Runtime 15.4 LTS แทนที่ไปป์ไลน์ Lambda-to-Avro เดิม