AWS Glue Data Catalog ตอนนี้รองรับ Vended Credentials จากแคตตาล็อกภายนอกเมื่อทำงานร่วมกับ Apache Iceberg REST catalog federation ทำให้สามารถอ่านตาราง Iceberg ภายนอกได้จาก Amazon Athena, Amazon EMR, Amazon Redshift และ AWS Glue โดยใช้สิทธิ์การเข้าถึงระดับตาราง (coarse-grained table grants) ในแคตตาล็อกภายนอก
Glue Data Catalog เดิมสามารถทำ Federation กับภายนอกผ่านบทบาท IAM ของ AWS ที่กำหนดสิทธิ์เข้าถึง Amazon S3 buckets ซึ่งการปรับปรุงนี้ช่วยเพิ่มอีกวิธีในการเชื่อมต่อกับแคตตาล็อก Iceberg ภายนอก และอ่านเฉพาะตารางที่แคตตาล็อกภายนอกอนุญาต
ระบบนี้ใช้ข้อมูลรับรองชั่วคราวที่จำกัดขอบเขตอยู่ที่ Amazon S3 storage prefix และถูกออกโดยแคตตาล็อก Iceberg ภายนอก นอกจากนี้ AWS Lake Formation ยังจัดการการควบคุมการเข้าถึงเมื่อมีการสอบถามตารางภายนอก ทำให้สามารถจำกัดการเข้าถึงลงไปถึงแถวและคอลัมน์ที่เฉพาะเจาะจง และแชร์ตาราง Iceberg ภายนอกข้ามบัญชี AWS ได้
ฟีเจอร์นี้ใช้งานได้ผ่าน AWS Lake Formation Management Console, AWS CLI และ SDKs ของ AWS Glue และ Lake Formation โดยพร้อมให้บริการในทุก Commercial AWS Regions ที่รองรับ Glue และ Lake Formation
ศัพท์ที่ควรรู้
- AWS Glue Data Catalog – บริการของ AWS ที่ทำหน้าที่เป็นแคตตาล็อกข้อมูลสำหรับจัดการข้อมูล
- Apache Iceberg REST catalog federation – กลไกที่ช่วยให้สามารถรวมและเข้าถึงตาราง Iceberg ภายนอกผ่าน REST API ได้
- Vended Credentials – ข้อมูลรับรองชั่วคราวที่ถูกออกและควบคุมโดยแคตตาล็อกภายนอกเพื่อการเข้าถึง
- Amazon Athena/EMR/Redshift – บริการวิเคราะห์ข้อมูลของ AWS ที่สามารถใช้เชื่อมต่อกับตาราง Iceberg ภายนอกได้
ที่มา: AWS