เตรียมเนื้อหาเว็บสำหรับ Amazon Bedrock Knowledge Bases ด้วย Crawl4AI

เมื่อคุณสร้างแอปพลิเคชัน Retrieval Augmented Generation (RAG) คุณภาพของคำตอบจะขึ้นอยู่กับข้อมูลที่คุณนำเข้าสู่ระบบ

สำหรับเว็บไซต์ที่ต้องมีการเข้าสู่ระบบ ให้พิจารณาตัวเลือกการยืนยันตัวตนของ Amazon Bedrock Web Crawler ซึ่งรวมถึง basic, form-based และ SAML authentication

หากผู้ใช้ต่างกันควรเห็นหน้าเว็บต่างกัน ตัวเชื่อมต่อ Amazon S3 สำหรับ managed knowledge bases รองรับการควบคุมการเข้าถึงระดับเอกสารด้วยไฟล์ ACL ที่คุณจัดเตรียมให้

Amazon Bedrock Guardrails ช่วยให้คุณสามารถใช้ตัวกรองเนื้อหา หัวข้อต้องห้าม ตัวกรองคำ และตัวกรองข้อมูลที่ละเอียดอ่อนกับคำขอ retrieval หรือ RetrieveAndGenerate

การตรวจสอบ Contextual grounding จะช่วยให้คุณให้คะแนนการตอบกลับแต่ละครั้งว่ามีการอ้างอิงจากส่วนที่ถูกเรียกค้นมาและเกี่ยวข้องกับคำถามมากน้อยเพียงใด

ในด้านความปลอดภัย การเข้ารหัสข้อมูลขณะจัดเก็บ (Encryption at rest) ใช้ AWS KMS customer managed key และการตรวจสอบ Container และ template ช่วยให้มั่นใจว่าการทำงานเป็นไปอย่างปลอดภัย

การทำความสะอาด (Clean up) จะลบกฎ Amazon EventBridge, ECS cluster, task definition, log groups, IAM roles, Parameter Store parameter และ security groups ที่สร้างขึ้นโดย stack นี้

ศัพท์ที่ควรรู้

  • Retrieval Augmented Generation (RAG) – เป็นสถาปัตยกรรมที่ช่วยให้ AI สามารถสร้างคำตอบโดยอ้างอิงจากข้อมูลเฉพาะที่นำเข้า
  • Amazon Bedrock Web Crawler – เครื่องมือที่ใช้ในการทำความเข้าใจและรวบรวมเนื้อหาจากเว็บไซต์สำหรับ Knowledge Base
  • Amazon S3 connector – ตัวเชื่อมต่อที่ใช้ในการจัดการและควบคุมการเข้าถึงเอกสารใน Knowledge Base
  • Amazon Bedrock Guardrails – ระบบป้องกันที่ใช้กรองเนื้อหาและควบคุมการตอบกลับของ AI เพื่อให้เป็นไปตามนโยบาย
  • AWS Key Management Service (AWS KMS) – บริการจัดการคีย์ของ AWS ที่ใช้ในการเข้ารหัสข้อมูลให้ปลอดภัย

ที่มา: AWS

Leave a Comment