Apache Spark กับ Apache Flink: คุณควรใช้อันไหน?

Databricks อ้างว่า Apache Spark เป็นตัวเลือกเริ่มต้นที่ดีกว่าสำหรับทีมส่วนใหญ่ เนื่องจาก Real-Time Mode ทำให้ Spark streaming มี latency แบบ end-to-end ระดับมิลลิวินาที และขจัดเหตุผลหลักที่ทีมต่างๆ เพิ่ม Flink เข้ามา ในการ benchmark ที่ Databricks เผยแพร่ที่ 10,000 records ต่อวินาที Spark Real-Time Mode ทำได้เท่าเทียมกับ Flink ในงานแบบ stateless (3 ms p99) และเหนือกว่าในงาน stateful aggregation (14 ms เทียบกับ 45 ms) และ stream-static joins (9 ms เทียบกับ 95 ms) Flink ยังคงเหมาะสมกับ keyed state ขนาดใหญ่มาก การประมวลผลเหตุการณ์ซับซ้อน และ event-time timers แต่การนำมาใช้มักหมายถึงการต้องดำเนินการ engine ที่สองควบคู่กับ Spark