LinkedIn ใช้ Apache Celeborn ลดความล้มเหลวการดึงข้อมูล Spark จาก 750 เหลือ 20

LinkedIn ได้นำ Apache Celeborn มาใช้เป็นแพลตฟอร์มสำหรับการทำ Remote Shuffle แบบส่วนกลางสำหรับงาน Apache Spark และ Apache Flink ส่วนใหญ่ โดยแยกการจัดเก็บข้อมูลกลางออกจากโครงสร้างพื้นฐานการประมวลผล

การปรับใช้ครั้งนี้ช่วยลดความล้มเหลวในการดึงข้อมูลรายวันจากประมาณ 750 ครั้ง เหลือเพียง 20 ครั้ง ลดต้นทุนการประมวลผลลง 10% และปรับปรุงเวลาการทำงานของแอปพลิเคชันได้ 14% เมื่อเทียบกับการใช้งาน Magnet เดิม

แพลตฟอร์มข้อมูลออฟไลน์ของ LinkedIn ประมวลผลงาน Spark มากกว่า 300,000 งานต่อวัน โดยใช้พลังการประมวลผลประมาณ 200 petabyte-hours

Celeborn ทำงานเป็นบริการ Shuffle แยกต่างหากพร้อมด้วย Worker เฉพาะและ Control Plane ที่จำลองขึ้น ซึ่งแตกต่างจาก Magnet ที่ใช้ Merger External Shuffle Services ภายในคลัสเตอร์ Spark

การปรับใช้ยังใช้ Control Plane แบบ Raft ที่มีห้าโหนด กระจายอยู่ใน Availability Zones และมีการนำเสนอการจำลองเครือข่าย (network-aware replication) เพื่อปรับปรุงประสิทธิภาพอย่างมาก

เมื่อรวมถึงการปรับปรุง JVM และ data-plane ทำให้ต้นทุน Shuffle ต่อ Task ลดลงเกือบ 90% และสัดส่วนของ Executor runtime ที่รอการทำงานของ Shuffle ลดลง 10–15%

นอกจากนี้ แพลตฟอร์ม Flink ที่รวมกันยังสามารถประมวลผลเหตุการณ์ได้หลายร้อยล้านเหตุการณ์ต่อชั่วโมง ทำให้งานที่ใช้เวลาหลายวันเสร็จสิ้นได้ภายในไม่กี่ชั่วโมง

ศัพท์ที่ควรรู้

  • Apache Celeborn – เป็นแพลตฟอร์มที่ LinkedIn นำมาใช้เป็นบริการ Shuffle ระยะไกลสำหรับงานประมวลผลของตน
  • Apache Spark – เป็นเฟรมเวิร์กสำหรับการประมวลผลข้อมูลขนาดใหญ่ที่ LinkedIn ใช้งานอยู่
  • Apache Flink – เป็นแพลตฟอร์มที่ LinkedIn ใช้ในการประมวลผลข้อมูลแบบเรียลไทม์และย้อนหลัง
  • Remote Shuffle – คือกระบวนการในการจัดเก็บและแลกเปลี่ยนข้อมูลกลางระหว่างขั้นตอนการประมวลผลของงาน Spark
  • Raft-based control plane – คือระบบควบคุมที่ใช้กลไก Raft เพื่อให้เกิดความเสถียรและการกู้คืนระบบ

ที่มา: infoq.com

Leave a Comment