AWS Lambda ตอนนี้รองรับคิวสำหรับ Apache Kafka ใน Self-managed Kafka Event Source (ESM) สำหรับคลัสเตอร์ Kafka ที่ลูกค้าบริหารจัดการเอง และสำหรับบริการจัดการอย่าง Confluent Cloud ด้วย
ตอนนี้ลูกค้าสามารถปรับขนาดการประมวลผลสำหรับ Workload ของ Kafka ให้เกินจำนวน Partition ของ Topic ได้ ทำให้ Throughput สูงขึ้นในช่วงที่มีการจราจรหนาแน่น และปรับปรุงความยืดหยุ่นในการประมวลผล
ก่อนหน้านี้ Kafka ESMs ใช้โปรโตคอล Kafka consumer group ซึ่งกำหนดให้แต่ละ Partition ถูกกำหนดให้กับ Consumer เพียงหนึ่งเดียว ทำให้ลูกค้าที่ต้องการ Parallelism สูงต้องมีการแบ่ง Partition มากเกินไป หรือย้ายทราฟฟิกไปยังระบบคิวแยกต่างหาก
การเปิดตัวนี้ช่วยให้ Event Pollers หลายตัวสามารถบริโภคข้อมูลจาก Partition เดียวกันได้พร้อมกัน โดยแต่ละ Event Poller รองรับการเรียกใช้งานพร้อมกันสูงสุด 10 ครั้ง ทำให้การประมวลผลมีความยืดหยุ่นมากขึ้นเมื่อเกิดเหตุการณ์ล่าช้าหรือล้มเหลว
การใช้งานฟีเจอร์นี้ต้องใช้ Kafka cluster ที่เปิดใช้งาน Share groups เช่น Apache Kafka 4.2 ขึ้นไป และพร้อมใช้งานในทุกภูมิภาคเชิงพาณิชย์ของ AWS ที่มี Self-managed Kafka ESM
หากต้องการเริ่มต้น ให้สร้าง Self-managed Kafka ESM โดยตั้งค่า ConsumptionMode เป็น Queue ผ่าน AWS Management Console หรือ API ต่างๆ โดยคิดค่าบริการตามมาตรฐานของ Lambda
ศัพท์ที่ควรรู้
- AWS Lambda – บริการคอมพิวเตอร์แบบ Serverless ของ AWS ที่รันโค้ดตามเหตุการณ์
- Apache Kafka – แพลตฟอร์มสำหรับจัดการสตรีมข้อมูลขนาดใหญ่ที่ใช้ในการส่งผ่านข้อมูล
- Self-managed Kafka Event Source (ESM) – กลไกที่เชื่อมต่อ Lambda เข้ากับ Kafka Cluster ที่ลูกค้าดูแลเอง
- Throughput – อัตราปริมาณข้อมูลที่ระบบสามารถประมวลผลได้สำเร็จต่อหน่วยเวลา
ที่มา: AWS