การเปิดตัวครั้งนี้ช่วยให้ผู้ใช้สามารถเปิดใช้งานการปรับปรุงตารางได้ทั้งสำหรับตารางรายตัว หรือสำหรับตารางทั้งหมดใน Data Catalog ของคุณ
ตาราง Apache Iceberg จะมีการสะสมไฟล์ขนาดเล็ก สแนปช็อต และไฟล์ที่ไม่ได้ถูกอ้างอิงในการเขียนข้อมูล ซึ่งอาจทำให้การสอบถามช้าและเพิ่มต้นทุนการจัดเก็บในระยะยาว
ฟีเจอร์ Table Optimization จะคอยตรวจสอบตารางของคุณอย่างต่อเนื่อง เพื่อรวมไฟล์ขนาดเล็กในพื้นหลัง ลบสแนปช็อตที่เกินช่วงการเก็บรักษา และลบไฟล์ที่ไม่ได้ถูกอ้างอิงแล้ว
คุณสามารถตรวจสอบการทำงานแต่ละครั้งได้จาก AWS Glue console, Amazon CloudWatch metrics และ logs และสามารถเปิดใช้งานได้ผ่าน AWS Glue console, AWS CLI หรือ AWS SDKs
สำหรับรายชื่อภูมิภาคทั้งหมดที่มีการรองรับ ให้ดูที่ Supported Regions for table optimizers และศึกษาเพิ่มเติมใน AWS Glue Developer Guide
ศัพท์ที่ควรรู้
- AWS Glue Data Catalog – บริการของ AWS ที่ทำหน้าที่เป็นแคตตาล็อกสำหรับข้อมูลในระบบคลาวด์
- Apache Iceberg – รูปแบบตารางแบบเปิดที่ช่วยให้การสอบถามข้อมูลใน Data Lake ขนาดใหญ่ทำได้อย่างรวดเร็ว
- Table Optimization – กระบวนการปรับปรุงตารางโดยอัตโนมัติเพื่อจัดการไฟล์ขนาดเล็กและลดต้นทุนการจัดเก็บ
- US West (N. California) Region – ภูมิภาคของ AWS ที่เปิดให้ใช้งานฟีเจอร์นี้
ที่มา: AWS