Amazon Bedrock AgentCore Gateway รองรับ API ทั้ง Amazon Bedrock InvokeModel และ InvokeModelWithResponseStream บน inference endpoint พร้อมด้วยการกำหนดเส้นทางการส่งต่อโมเดลสำหรับการอนุมาน
ด้วยการรองรับ InvokeModel คุณสามารถชี้การผสานรวม Amazon Bedrock SDK ที่มีอยู่ไปยัง gateway และเข้าถึงผู้ให้บริการโมเดลใดๆ ผ่าน endpoint เดียว โดยไม่ต้องเขียนโค้ดฝั่งไคลเอ็นต์ใหม่สำหรับแต่ละผู้ให้บริการ
ส่วนฟีเจอร์ model fallback จะช่วยให้ gateway กำหนดเส้นทางคำขอไปยังโมเดลหรือผู้ให้บริการทางเลือกโดยอัตโนมัติ เมื่อปลายทางหลักถูกจำกัดอัตรา (throttled) หมดความจุ หรือไม่สามารถเข้าถึงได้ ทำให้ agent ยังคงใช้งานได้โดยไม่ต้องให้แต่ละไคลเอ็นต์จัดการตรรกะการลองใหม่ด้วยตนเอง
สำหรับการส่งต่อแบบ fallback คุณต้องกำหนดห่วงโซ่ปลายทางทางเลือกตามลำดับในกฎของ gateway พร้อมเงื่อนไขที่จะกระตุ้นการสลับ เช่น การถูกจำกัดอัตรา ข้อผิดพลาดของเซิร์ฟเวอร์ หรือการหมดเวลาการตอบสนอง นอกจากนี้ยังมี circuit breaker ในตัวเพื่อข้ามปลายทางที่ล้มเหลว ทำให้คำขอไปถึงปลายทางที่พร้อมใช้งานได้เร็วขึ้น
ฟีเจอร์เหล่านี้พร้อมใช้งานในทุกภูมิภาคของ AWS ที่มี Amazon Bedrock AgentCore Gateway รองรับ (ยกเว้นประเทศจีน)
ศัพท์ที่ควรรู้
- Amazon Bedrock AgentCore Gateway – เป็นเกตเวย์ที่จัดการการเชื่อมต่อและการทำงานของโมเดล AI ต่างๆ
- InvokeModel API – คือ API ที่ใช้ในการส่งคำขออนุมานไปยังโมเดล AI เพื่อให้ได้ผลลัพธ์
- Model Fallback – คือกลไกที่ช่วยให้ระบบส่งคำขอไปยังโมเดลสำรองโดยอัตโนมัติเมื่อโมเดลหลักมีปัญหา
- Circuit Breaker – คือกลไกป้องกันที่ช่วยข้ามการเชื่อมต่อไปยังปลายทางที่กำลังล้มเหลว เพื่อเพิ่มความเร็วในการตอบสนอง
ที่มา: AWS