AWS Glue ได้นำเสนอการอัปเกรดเวอร์ชันอัตโนมัติ ซึ่งช่วยให้งาน Apache Spark ของคุณทันสมัยอยู่เสมอด้วยรันไทม์ AWS Glue ล่าสุด โดยไม่ต้องมีการประสานงานด้วยตนเอง การคงอยู่บนรันไทม์ที่รองรับทำให้งานของคุณได้รับการอัปเดตด้านความปลอดภัยล่าสุด การปรับปรุงประสิทธิภาพ และการรองรับรูปแบบตารางที่เปลี่ยนแปลงไป เช่น Apache Iceberg
การอัปเกรดอัตโนมัติครอบคลุมการตรวจสอบหลายระดับ รวมถึงการประเมินความเข้ากันได้ของงานกับรันไทม์ที่อัปเกรด การขอความยินยอมจากคุณก่อนดำเนินการบนเวอร์ชันใหม่ และการตรวจสอบการรันงานที่อัปเกรดเทียบกับโปรไฟล์เอาต์พุตที่กำหนดไว้ของแต่ละงาน ทำให้งานของคุณอัปเกรดพร้อมมาตรการป้องกันที่เหมาะสม
เมื่อตั้งค่าเวอร์ชันเป็น “Auto” การอัปเกรดที่เคยต้องใช้เวลาหลายสัปดาห์ในการวางแผนและการดำเนินการ บัดนี้สามารถเกิดขึ้นได้โดยอัตโนมัติ แพลตฟอร์มสามารถกำหนดมาตรฐานเวอร์ชันรันไทม์ในกลุ่มงานขนาดใหญ่ได้โดยไม่ต้องติดตามเจ้าของงานรายบุคคล
แต่ละงานจะได้รับการตรวจสอบเทียบกับสกีมาเอาต์พุต ปริมาณข้อมูล ความหน่วง และรูปแบบที่กำหนดไว้ก่อนการอัปเกรด ทำให้คุณสามารถก้าวไปข้างหน้าได้อย่างมั่นใจ หากงานใดต้องการการเปลี่ยนแปลงโค้ด ก็จะยังคงทำงานบนเวอร์ชันปัจจุบันได้อย่างปลอดภัย และ AWS Glue จะให้การวิเคราะห์การอัปเกรดพร้อมการแก้ไขเฉพาะที่คุณสามารถนำไปใช้ได้
การอัปเกรดอัตโนมัติสำหรับ AWS Glue มีให้บริการในทุกภูมิภาคเชิงพาณิชย์ของ AWS หากต้องการเริ่มต้น ให้เลือก “Auto” เป็นเวอร์ชัน AWS Glue เมื่อสร้างหรืออัปเดตงาน Apache Spark โดยใช้ AWS Glue Studio หรือ AWS CLI, API และ SDK หรือสามารถอัปเดตหลายงานพร้อมกันโดยใช้ AWS Glue skill
ศัพท์ที่ควรรู้
- AWS Glue – บริการของ AWS ที่ช่วยในการประมวลผลข้อมูลและจัดการงาน
- Apache Spark – เฟรมเวิร์กสำหรับการประมวลผลข้อมูลขนาดใหญ่ที่ใช้ในงานนี้
- Runtime – สภาพแวดล้อมหรือซอฟต์แวร์ที่รันโค้ดของงาน
- Apache Iceberg – รูปแบบตารางที่รองรับการเปลี่ยนแปลงและช่วยให้ข้อมูลมีความคงทน
ที่มา: AWS