Eclipse Aerospace sử dụng nguồn dữ liệu tùy chỉnh Databricks PySpark để nhập dữ liệu chuyến bay

Eclipse Aerospace đang sử dụng nguồn dữ liệu tùy chỉnh Databricks PySpark để nhập gần 20 năm dữ liệu chuyến bay độc quyền, hơn 3TB trải rộng trên hơn một triệu giờ bay, mà không cần tính toán chuyên dụng luôn bật. Gói Python được hỗ trợ bởi Rust đã mang lại hiệu suất gấp đôi so với chuẩn đánh giá của một nguồn dữ liệu Python thuần dựa trên PyArrow tương tự và gần 20 lần so với triển khai Python gốc không có Arrow. API, được giới thiệu trong Apache Spark 4.0 và có sẵn trong Databricks Runtime 15.4 LTS, thay thế quy trình Lambda-to-Avro trước đó.