Amazon S3 Tables ตอนนี้รองรับการย้ายตาราง Apache Hive ไปยัง Apache Iceberg ที่มีการจัดการ ซึ่ง Iceberg จะเพิ่มคุณสมบัติ ACID transactions, schema evolution และ time travel ให้กับ Data Lake ของคุณ
การย้ายจาก Hive ไป Iceberg มักต้องสร้าง pipeline การย้ายข้อมูล ซึ่งอาจใช้เวลาหลายสัปดาห์ แต่ S3 Tables สามารถจัดการการย้ายนี้ ทำให้ได้ตาราง Iceberg ที่พร้อมสำหรับการสอบถามและยังคงมีการปรับให้เหมาะสมเมื่อข้อมูลเพิ่มขึ้น
ระหว่างการย้าย S3 Tables จะตรวจสอบ แปลง และคัดลอกข้อมูล โดยที่เวิร์กโหลดการผลิตยังคงทำงานต่อไป คุณสามารถตรวจสอบทุกขั้นตอน, ซิงค์ตารางปลายทางกับต้นทางบ่อยตามต้องการ หรือย้อนกลับไปยังข้อมูลต้นฉบับได้
สำหรับการเริ่มต้นใช้งาน ฟีเจอร์นี้รองรับตาราง Hive ที่ลงทะเบียนใน AWS Glue และจัดเก็บในรูปแบบ Parquet ภายในบัญชีและภูมิภาค AWS เดียวกัน และสามารถใช้งานได้ในภูมิภาคที่ระบุ
ศัพท์ที่ควรรู้
- Apache Hive – เป็นระบบที่ใช้จัดการข้อมูลขนาดใหญ่ใน Data Lake ของคุณ
- Apache Iceberg – เป็นรูปแบบตารางที่ช่วยเพิ่ม ACID transactions, schema evolution และ time travel ให้กับข้อมูล
- ACID transactions – คือคุณสมบัติที่รับประกันความถูกต้องของการทำธุรกรรมข้อมูล ทำให้ข้อมูลมีความน่าเชื่อถือสูง
- Schema evolution – คือความสามารถในการเปลี่ยนแปลงโครงสร้างของข้อมูลโดยไม่กระทบต่อการทำงานเดิม
- S3 Tables – คือบริการของ Amazon S3 ที่ช่วยจัดการและทำให้ข้อมูลใน Data Lake พร้อมใช้งาน
ที่มา: AWS