ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Databricks ชู Spark โหมดเรียลไทม์สู้ Flink

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 6 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Databricks ให้เหตุผลว่า Apache Spark ควรเป็นเอนจินเริ่มต้นสำหรับทีมส่วนใหญ่ โดยระบุว่าโหมดเรียลไทม์ (Real-Time Mode) ทำให้การสตรีมของ Spark มีความหน่วงตั้งแต่ต้นจนจบระดับมิลลิวินาที และขจัดเหตุผลหลักที่ทีมต่างๆ เพิ่ม Apache Flink เข้ามา ในการทดสอบมาตรฐานของ Databricks เองที่ 10,000 เรกคอร์ดต่อวินาที โหมดเรียลไทม์ของ Spark ทำได้เท่าเทียมกับ Flink ในงานแบบไม่มีสถานะที่ 3 ms p99 และเร็วกว่าในงานรวมสถานะ (14 ms เทียบกับ 45 ms) และการ join ระหว่างสตรีมกับข้อมูลคงที่ (9 ms เทียบกับ 95 ms) Databricks ยังระบุกรณีที่ Flink เหมาะสม ได้แก่ สถานะแบบ keyed ขนาดใหญ่มาก การประมวลผลเหตุการณ์ซับซ้อน และตัวจับเวลาแบบ event-time การนำ Flink มาใช้ในกรณีเหล่านี้มักหมายถึงการรันเอนจินตัวที่สองควบคู่กับ Spark ตัวเลขจากการทดสอบมาตรฐานมาจาก Databricks และยังไม่ได้รับการตรวจสอบอย่างอิสระ

สร้างจากรายงาน · อัปเดต 16 นาทีที่แล้ว

ล่าสุด14 พฤศจิกายน 00:00
Apache Spark กับ Apache Flink: คุณควรใช้อันไหน?

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

14 พฤศจิกายน
  1. Databricks Blog
    Apache Spark กับ Apache Flink: คุณควรใช้อันไหน?

    Databricks อ้างว่า Apache Spark เป็นตัวเลือกเริ่มต้นที่ดีกว่าสำหรับทีมส่วนใหญ่ เนื่องจาก Real-Time Mode ทำให้ Spark streaming มี latency แบบ end-to-end ระดับมิลลิวินาที และขจัดเหตุผลหลักที่ทีมต่างๆ เพิ่ม Flink เข้ามา ในการ benchmark ที่ Databricks เผยแพร่ที่ 10,000 records ต่อวินาที Spark Real-Time Mode ทำได้เท่าเทียมกับ Flink ในงานแบบ stateless (3 ms p99) และเหนือกว่าในงาน stateful aggregation (14 ms เทียบกับ 45 ms) และ stream-static joins (9 ms เทียบกับ 95 ms) Flink ยังคงเหมาะสมกับ keyed state ขนาดใหญ่มาก การประมวลผลเหตุการณ์ซับซ้อน และ event-time timers แต่การนำมาใช้มักหมายถึงการต้องดำเนินการ engine ที่สองควบคู่กับ Spark

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม