Cloudflare ได้ประกาศให้ Basin ซึ่งเป็นแพลตฟอร์มสำหรับ Serverless Analytics ที่สร้างบน Apache Iceberg และ R2 Object Storage พร้อมใช้งานทั่วไปแล้ว
Basin ซึ่งเคยเปิดตัวในรูปแบบ “Cloudflare Data Platform” เมื่อกว่าหนึ่งปีก่อน ผสานรวมการนำเข้าข้อมูล การแปลงข้อมูลด้วย SQL การบำรุงรักษาตาราง และการสอบถาม SQL แบบกระจาย ทำให้ผู้พัฒนาสามารถวิเคราะห์ชุดข้อมูลขนาดใหญ่ได้โดยไม่ต้องจัดการโครงสร้างพื้นฐาน
แพลตฟอร์มนี้ประกอบด้วยสามส่วนหลัก ได้แก่ Basin Pipelines ที่รับข้อมูลจาก Workers, HTTP endpoints และ Logpush เพื่อนำไปแปลงด้วย SQL และเขียนลงในตาราง Apache Iceberg หรือ R2, Basin Catalog ที่จัดการ metadata ของ Iceberg และทำงานบำรุงรักษาตารางโดยอัตโนมัติ และ Basin SQL ที่เป็น Distributed SQL engine แบบ Serverless สำหรับการสอบถามตาราง Iceberg
นับตั้งแต่ช่วง Preview นั้น Basin ได้เพิ่มความสามารถในการนำเข้าข้อมูลเป็น 3 GB/s ต่อสตรีม ขยายขีดความสามารถของ SQL ปรับปรุงการบำรุงรักษาตาราง Iceberg และเพิ่ม Logpush integration รวมถึง Terraform support เข้ามาด้วย
ฟีเจอร์ที่วางแผนไว้ในอนาคต เช่น การประมวลผลแบบเรียลไทม์ และการรองรับ Iceberg specification ล่าสุด ยังอยู่ระหว่างการพัฒนาและยังไม่มีกำหนดการเผยแพร่ที่แน่นอน
ศัพท์ที่ควรรู้
- Serverless Analytics – การวิเคราะห์ข้อมูลโดยไม่ต้องกังวลเรื่องการจัดการเซิร์ฟเวอร์
- Apache Iceberg – เป็นระบบที่ช่วยจัดการตารางข้อมูลขนาดใหญ่ให้ทำงานร่วมกันได้
- R2 Object Storage – คือบริการจัดเก็บวัตถุที่ Cloudflare ใช้เป็นที่เก็บข้อมูล
- Basin Pipelines – คือส่วนที่รับข้อมูลจากแหล่งต่างๆ และแปลงข้อมูลด้วย SQL ก่อนจัดเก็บ
- Basin Catalog – คือส่วนที่ดูแลและจัดการข้อมูลเมตาของตาราง Iceberg โดยอัตโนมัติ
ที่มา: infoq.com