{"id":30872,"date":"2026-11-18T15:05:00","date_gmt":"2026-11-18T08:05:00","guid":{"rendered":"https:\/\/blogdee.com\/?p=30872"},"modified":"2026-11-18T15:05:00","modified_gmt":"2026-11-18T08:05:00","slug":"linkedin-%e0%b9%83%e0%b8%8a%e0%b9%89-apache-celeborn-%e0%b8%a5%e0%b8%94%e0%b8%84%e0%b8%a7%e0%b8%b2%e0%b8%a1%e0%b8%a5%e0%b9%89%e0%b8%a1%e0%b9%80%e0%b8%ab%e0%b8%a5%e0%b8%a7%e0%b8%81%e0%b8%b2%e0%b8%a3","status":"publish","type":"post","link":"https:\/\/blogdee.com\/?p=30872","title":{"rendered":"LinkedIn \u0e43\u0e0a\u0e49 Apache Celeborn \u0e25\u0e14\u0e04\u0e27\u0e32\u0e21\u0e25\u0e49\u0e21\u0e40\u0e2b\u0e25\u0e27\u0e01\u0e32\u0e23\u0e14\u0e36\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25 Spark \u0e08\u0e32\u0e01 750 \u0e40\u0e2b\u0e25\u0e37\u0e2d 20"},"content":{"rendered":"<p>LinkedIn \u0e44\u0e14\u0e49\u0e19\u0e33 Apache Celeborn \u0e21\u0e32\u0e43\u0e0a\u0e49\u0e40\u0e1b\u0e47\u0e19\u0e41\u0e1e\u0e25\u0e15\u0e1f\u0e2d\u0e23\u0e4c\u0e21\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e17\u0e33 Remote Shuffle \u0e41\u0e1a\u0e1a\u0e2a\u0e48\u0e27\u0e19\u0e01\u0e25\u0e32\u0e07\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e07\u0e32\u0e19 Apache Spark \u0e41\u0e25\u0e30 Apache Flink \u0e2a\u0e48\u0e27\u0e19\u0e43\u0e2b\u0e0d\u0e48 \u0e42\u0e14\u0e22\u0e41\u0e22\u0e01\u0e01\u0e32\u0e23\u0e08\u0e31\u0e14\u0e40\u0e01\u0e47\u0e1a\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e01\u0e25\u0e32\u0e07\u0e2d\u0e2d\u0e01\u0e08\u0e32\u0e01\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25<\/p>\n<p>\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e0a\u0e49\u0e04\u0e23\u0e31\u0e49\u0e07\u0e19\u0e35\u0e49\u0e0a\u0e48\u0e27\u0e22\u0e25\u0e14\u0e04\u0e27\u0e32\u0e21\u0e25\u0e49\u0e21\u0e40\u0e2b\u0e25\u0e27\u0e43\u0e19\u0e01\u0e32\u0e23\u0e14\u0e36\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e23\u0e32\u0e22\u0e27\u0e31\u0e19\u0e08\u0e32\u0e01\u0e1b\u0e23\u0e30\u0e21\u0e32\u0e13 750 \u0e04\u0e23\u0e31\u0e49\u0e07 \u0e40\u0e2b\u0e25\u0e37\u0e2d\u0e40\u0e1e\u0e35\u0e22\u0e07 20 \u0e04\u0e23\u0e31\u0e49\u0e07 \u0e25\u0e14\u0e15\u0e49\u0e19\u0e17\u0e38\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e25\u0e07 10% \u0e41\u0e25\u0e30\u0e1b\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e38\u0e07\u0e40\u0e27\u0e25\u0e32\u0e01\u0e32\u0e23\u0e17\u0e33\u0e07\u0e32\u0e19\u0e02\u0e2d\u0e07\u0e41\u0e2d\u0e1b\u0e1e\u0e25\u0e34\u0e40\u0e04\u0e0a\u0e31\u0e19\u0e44\u0e14\u0e49 14% \u0e40\u0e21\u0e37\u0e48\u0e2d\u0e40\u0e17\u0e35\u0e22\u0e1a\u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19 Magnet \u0e40\u0e14\u0e34\u0e21<\/p>\n<p>\u0e41\u0e1e\u0e25\u0e15\u0e1f\u0e2d\u0e23\u0e4c\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e2d\u0e2d\u0e1f\u0e44\u0e25\u0e19\u0e4c\u0e02\u0e2d\u0e07 LinkedIn \u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e07\u0e32\u0e19 Spark \u0e21\u0e32\u0e01\u0e01\u0e27\u0e48\u0e32 300,000 \u0e07\u0e32\u0e19\u0e15\u0e48\u0e2d\u0e27\u0e31\u0e19 \u0e42\u0e14\u0e22\u0e43\u0e0a\u0e49\u0e1e\u0e25\u0e31\u0e07\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e1b\u0e23\u0e30\u0e21\u0e32\u0e13 200 petabyte-hours<\/p>\n<p>Celeborn \u0e17\u0e33\u0e07\u0e32\u0e19\u0e40\u0e1b\u0e47\u0e19\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23 Shuffle \u0e41\u0e22\u0e01\u0e15\u0e48\u0e32\u0e07\u0e2b\u0e32\u0e01\u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e14\u0e49\u0e27\u0e22 Worker \u0e40\u0e09\u0e1e\u0e32\u0e30\u0e41\u0e25\u0e30 Control Plane \u0e17\u0e35\u0e48\u0e08\u0e33\u0e25\u0e2d\u0e07\u0e02\u0e36\u0e49\u0e19 \u0e0b\u0e36\u0e48\u0e07\u0e41\u0e15\u0e01\u0e15\u0e48\u0e32\u0e07\u0e08\u0e32\u0e01 Magnet \u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49 Merger External Shuffle Services \u0e20\u0e32\u0e22\u0e43\u0e19\u0e04\u0e25\u0e31\u0e2a\u0e40\u0e15\u0e2d\u0e23\u0e4c Spark<\/p>\n<p>\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e0a\u0e49\u0e22\u0e31\u0e07\u0e43\u0e0a\u0e49 Control Plane \u0e41\u0e1a\u0e1a Raft \u0e17\u0e35\u0e48\u0e21\u0e35\u0e2b\u0e49\u0e32\u0e42\u0e2b\u0e19\u0e14 \u0e01\u0e23\u0e30\u0e08\u0e32\u0e22\u0e2d\u0e22\u0e39\u0e48\u0e43\u0e19 Availability Zones \u0e41\u0e25\u0e30\u0e21\u0e35\u0e01\u0e32\u0e23\u0e19\u0e33\u0e40\u0e2a\u0e19\u0e2d\u0e01\u0e32\u0e23\u0e08\u0e33\u0e25\u0e2d\u0e07\u0e40\u0e04\u0e23\u0e37\u0e2d\u0e02\u0e48\u0e32\u0e22 (network-aware replication) \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e1b\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e38\u0e07\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e32\u0e01<\/p>\n<p>\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e23\u0e27\u0e21\u0e16\u0e36\u0e07\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e38\u0e07 JVM \u0e41\u0e25\u0e30 data-plane \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e15\u0e49\u0e19\u0e17\u0e38\u0e19 Shuffle \u0e15\u0e48\u0e2d Task \u0e25\u0e14\u0e25\u0e07\u0e40\u0e01\u0e37\u0e2d\u0e1a 90% \u0e41\u0e25\u0e30\u0e2a\u0e31\u0e14\u0e2a\u0e48\u0e27\u0e19\u0e02\u0e2d\u0e07 Executor runtime \u0e17\u0e35\u0e48\u0e23\u0e2d\u0e01\u0e32\u0e23\u0e17\u0e33\u0e07\u0e32\u0e19\u0e02\u0e2d\u0e07 Shuffle \u0e25\u0e14\u0e25\u0e07 10\u201315%<\/p>\n<p>\u0e19\u0e2d\u0e01\u0e08\u0e32\u0e01\u0e19\u0e35\u0e49 \u0e41\u0e1e\u0e25\u0e15\u0e1f\u0e2d\u0e23\u0e4c\u0e21 Flink \u0e17\u0e35\u0e48\u0e23\u0e27\u0e21\u0e01\u0e31\u0e19\u0e22\u0e31\u0e07\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e40\u0e2b\u0e15\u0e38\u0e01\u0e32\u0e23\u0e13\u0e4c\u0e44\u0e14\u0e49\u0e2b\u0e25\u0e32\u0e22\u0e23\u0e49\u0e2d\u0e22\u0e25\u0e49\u0e32\u0e19\u0e40\u0e2b\u0e15\u0e38\u0e01\u0e32\u0e23\u0e13\u0e4c\u0e15\u0e48\u0e2d\u0e0a\u0e31\u0e48\u0e27\u0e42\u0e21\u0e07 \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e07\u0e32\u0e19\u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e40\u0e27\u0e25\u0e32\u0e2b\u0e25\u0e32\u0e22\u0e27\u0e31\u0e19\u0e40\u0e2a\u0e23\u0e47\u0e08\u0e2a\u0e34\u0e49\u0e19\u0e44\u0e14\u0e49\u0e20\u0e32\u0e22\u0e43\u0e19\u0e44\u0e21\u0e48\u0e01\u0e35\u0e48\u0e0a\u0e31\u0e48\u0e27\u0e42\u0e21\u0e07<\/p>\n<h3>\u0e28\u0e31\u0e1e\u0e17\u0e4c\u0e17\u0e35\u0e48\u0e04\u0e27\u0e23\u0e23\u0e39\u0e49<\/h3>\n<ul>\n<li>Apache Celeborn &#8211; \u0e40\u0e1b\u0e47\u0e19\u0e41\u0e1e\u0e25\u0e15\u0e1f\u0e2d\u0e23\u0e4c\u0e21\u0e17\u0e35\u0e48 LinkedIn \u0e19\u0e33\u0e21\u0e32\u0e43\u0e0a\u0e49\u0e40\u0e1b\u0e47\u0e19\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23 Shuffle \u0e23\u0e30\u0e22\u0e30\u0e44\u0e01\u0e25\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e07\u0e32\u0e19\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e02\u0e2d\u0e07\u0e15\u0e19<\/li>\n<li>Apache Spark &#8211; \u0e40\u0e1b\u0e47\u0e19\u0e40\u0e1f\u0e23\u0e21\u0e40\u0e27\u0e34\u0e23\u0e4c\u0e01\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e02\u0e19\u0e32\u0e14\u0e43\u0e2b\u0e0d\u0e48\u0e17\u0e35\u0e48 LinkedIn \u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e2d\u0e22\u0e39\u0e48<\/li>\n<li>Apache Flink &#8211; \u0e40\u0e1b\u0e47\u0e19\u0e41\u0e1e\u0e25\u0e15\u0e1f\u0e2d\u0e23\u0e4c\u0e21\u0e17\u0e35\u0e48 LinkedIn \u0e43\u0e0a\u0e49\u0e43\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e41\u0e1a\u0e1a\u0e40\u0e23\u0e35\u0e22\u0e25\u0e44\u0e17\u0e21\u0e4c\u0e41\u0e25\u0e30\u0e22\u0e49\u0e2d\u0e19\u0e2b\u0e25\u0e31\u0e07<\/li>\n<li>Remote Shuffle &#8211; \u0e04\u0e37\u0e2d\u0e01\u0e23\u0e30\u0e1a\u0e27\u0e19\u0e01\u0e32\u0e23\u0e43\u0e19\u0e01\u0e32\u0e23\u0e08\u0e31\u0e14\u0e40\u0e01\u0e47\u0e1a\u0e41\u0e25\u0e30\u0e41\u0e25\u0e01\u0e40\u0e1b\u0e25\u0e35\u0e48\u0e22\u0e19\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e01\u0e25\u0e32\u0e07\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e02\u0e31\u0e49\u0e19\u0e15\u0e2d\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e02\u0e2d\u0e07\u0e07\u0e32\u0e19 Spark<\/li>\n<li>Raft-based control plane &#8211; \u0e04\u0e37\u0e2d\u0e23\u0e30\u0e1a\u0e1a\u0e04\u0e27\u0e1a\u0e04\u0e38\u0e21\u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e01\u0e25\u0e44\u0e01 Raft \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e40\u0e01\u0e34\u0e14\u0e04\u0e27\u0e32\u0e21\u0e40\u0e2a\u0e16\u0e35\u0e22\u0e23\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e01\u0e39\u0e49\u0e04\u0e37\u0e19\u0e23\u0e30\u0e1a\u0e1a<\/li>\n<\/ul>\n<p>\u0e17\u0e35\u0e48\u0e21\u0e32: <a href=\"https:\/\/www.infoq.com\/news\/2026\/11\/linkedin-celeborn-remote-shuffle\/?utm_campaign=infoq_content&#038;utm_source=infoq&#038;utm_medium=feed&#038;utm_term=global\">infoq.com<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>LinkedIn \u0e44\u0e14\u0e49\u0e19\u0e33 Apache Celeborn \u0e21\u0e32\u0e43\u0e0a\u0e49\u0e40\u0e1b\u0e47\u0e19\u0e41\u0e1e\u0e25\u0e15\u0e1f\u0e2d\u0e23\u0e4c\u0e21\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e17\u0e33 Remote Shuffle \u0e41\u0e1a\u0e1a\u0e2a\u0e48\u0e27\u0e19\u0e01\u0e25\u0e32\u0e07\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e07\u0e32\u0e19 Apache Spark \u0e41\u0e25\u0e30 Apache Flink \u0e2a\u0e48\u0e27\u0e19\u0e43\u0e2b\u0e0d\u0e48\u2026<\/p>\n","protected":false},"author":1,"featured_media":30871,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[50],"tags":[8540,8560,5325,5467],"class_list":["post-30872","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-cloud-computing","tag-apache-flink","tag-apache-spark","tag-data-processing","tag-distributed-systems"],"_links":{"self":[{"href":"https:\/\/blogdee.com\/index.php?rest_route=\/wp\/v2\/posts\/30872","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blogdee.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogdee.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogdee.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blogdee.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=30872"}],"version-history":[{"count":0,"href":"https:\/\/blogdee.com\/index.php?rest_route=\/wp\/v2\/posts\/30872\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blogdee.com\/index.php?rest_route=\/wp\/v2\/media\/30871"}],"wp:attachment":[{"href":"https:\/\/blogdee.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=30872"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogdee.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=30872"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogdee.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=30872"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}