Eclipse Aerospace sử dụng nguồn dữ liệu tùy chỉnh PySpark để nạp dữ liệu chuyến bay
Bắt đầu từ đây
Theo một nghiên cứu điển hình của Databricks, Eclipse Aerospace đang sử dụng nguồn dữ liệu tùy chỉnh PySpark của Databricks để nạp gần 20 năm dữ liệu chuyến bay độc quyền — hơn 3TB trải rộng trên hơn một triệu giờ bay — mà không cần máy tính chuyên dụng luôn bật. Databricks cho biết gói Python được hỗ trợ bởi Rust này đạt hiệu năng gấp đôi so với một nguồn dữ liệu Python thuần dựa trên PyArrow tương tự trong các bài đo chuẩn, và gần gấp 20 lần so với một triển khai Python gốc không có Arrow. API này, được giới thiệu trong Apache Spark 4.0, thay thế pipeline Lambda-to-Avro trước đây của Eclipse. Eclipse và Databricks cho biết đường dẫn mới giúp giảm độ trễ, trùng lặp và chi phí vận hành trong khi vẫn giữ được tính linh hoạt của Databricks Serverless. Nguồn dữ liệu tùy chỉnh PySpark có sẵn trong Databricks Runtime 15.4 LTS trở lên, hoặc trong phiên bản môi trường serverless 2.
Tạo từ các bài viết · cập nhật 14 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Databricks BlogEclipse Aerospace sử dụng nguồn dữ liệu tùy chỉnh Databricks PySpark để nhập dữ liệu chuyến bay
Eclipse Aerospace đang sử dụng nguồn dữ liệu tùy chỉnh Databricks PySpark để nhập gần 20 năm dữ liệu chuyến bay độc quyền, hơn 3TB trải rộng trên hơn một triệu giờ bay, mà không cần tính toán chuyên dụng luôn bật. Gói Python được hỗ trợ bởi Rust đã mang lại hiệu suất gấp đôi so với chuẩn đánh giá của một nguồn dữ liệu Python thuần dựa trên PyArrow tương tự và gần 20 lần so với triển khai Python gốc không có Arrow. API, được giới thiệu trong Apache Spark 4.0 và có sẵn trong Databricks Runtime 15.4 LTS, thay thế quy trình Lambda-to-Avro trước đó.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.