Databricks đề xuất Spark ở chế độ thời gian thực để cạnh tranh với Flink

Databricks lập luận rằng Apache Spark nên là engine mặc định cho hầu hết các nhóm, nói rằng chế độ Thời gian thực (Real-Time Mode) của nó đưa Spark streaming đạt độ trễ đầu-cuối tính bằng mili giây và loại bỏ lý do chính khiến các nhóm thêm Apache Flink. Trong bài benchmark của chính Databricks ở 10.000 bản ghi mỗi giây, Spark Real-Time Mode ngang bằng Flink ở các tác vụ không trạng thái với p99 là 3 ms và nhanh hơn ở tổng hợp có trạng thái (14 ms so với 45 ms) và join stream-tĩnh (9 ms so với 95 ms). Databricks vẫn nêu các trường hợp phù hợp với Flink: trạng thái khóa rất lớn, xử lý sự kiện phức tạp và bộ hẹn giờ theo thời gian sự kiện. Việc áp dụng Flink trong những trường hợp đó thường đồng nghĩa với việc chạy thêm một engine thứ hai song song với Spark. Các con số benchmark đến từ Databricks và chưa được xác minh độc lập.

Tạo từ các bài viết · cập nhật 16 phút trước

Chưa đủ quan sát liên tục để vẽ xu hướng.