Seeing where requests went
Router จะเผยแพร่เมตริก OpenTelemetry ไปยัง CloudWatch ในบัญชีและ Region ของตนเอง ทำให้สามารถมองเห็นภาพรวมของการเรียกใช้งานข้าม Region ได้ โดยมีการนับจำนวนคำขอและแยกประเภทข้อผิดพลาด เช่น invocation_4xx, invocation_5xx และ invocation_model_error
Testing failover across accounts and Regions
การตั้งค่าทำได้ไม่ยาก โดยเจ้าของ Endpoint เพียงเพิ่ม Endpoint policy สำหรับบัญชี Router และแทนที่การเรียก InvokeEndpoint โดยตรงด้วยการเรียก Router โดยใช้ Request body, content type และ accept type เดิม
การตอบสนองจะแสดง InvokedRoutedResourceArn และ RoutingReason ซึ่งช่วยให้เห็นลำดับการทำงานทั้งหมดโดยไม่ต้องมีการติดตั้งเครื่องมือเพิ่มเติม ทั้งนี้ Salesforce ยังวางแผนจะทดสอบ Failover ต่อไปในระยะยาว เพื่อวัด Latency ข้าม Region ในระดับมิลลิวินาที
Best practices and what to watch
ข้อปฏิบัติที่ดีที่สุดคือการคงโมเดล, container image และ artifacts เดียวกันไว้ในทุก Region ที่ลงทะเบียน เนื่องจาก Router จะไม่ทำการคัดลอกไฟล์เหล่านี้ และหากปลายทางใช้โมเดลเวอร์ชันต่างกัน อาจให้คำตอบที่ไม่เหมือนกันแก่คำขอเดียวกัน
ศัพท์ที่ควรรู้
- Cross-Region inference routing – การกำหนดเส้นทางการอนุมานข้ามภูมิภาค ซึ่งคือการส่งคำขอไปยังโมเดลใน Region ที่แตกต่างกัน
- OpenTelemetry metrics – ข้อมูลเมตริกที่ใช้ในการติดตามและตรวจสอบระบบ ซึ่งในที่นี้คือการติดตามการเรียกใช้งานโมเดล
- SageMaker AI – บริการของ Amazon ที่ช่วยให้นักวิทยาศาสตร์ข้อมูลสามารถสร้างและปรับใช้โมเดล Machine Learning ได้
ที่มา: AWS