AI agents ที่สามารถรวบรวมความรู้ผ่านการท่องอินเทอร์เน็ตนั้นมีความสำคัญมากขึ้นเรื่อยๆ
BrowseComp เป็นเกณฑ์มาตรฐานที่วัดความสามารถหลักในการคงอยู่ (persistence) และความคิดสร้างสรรค์ (creativity) ในการค้นหาข้อมูล โดยใช้คำถามตัวอย่างที่ต้องระบุชื่อเปเปอร์ทางวิทยาศาสตร์จากงานประชุม EMNLP ปี 2018-2023 ที่มีเงื่อนไขเฉพาะเจาะจงเกี่ยวกับผู้เขียน
ในส่วนของชุดข้อมูลและความหลากหลาย เราสนับสนุนให้ผู้ฝึกสร้างคำถามจากหัวข้อที่ตนเองสนใจ เพื่อให้ได้ข้อมูลที่มีคุณภาพและน่าสนใจ
โมเดลของ OpenAI มีประสิทธิภาพสูงในการตอบคำถามเฉพาะกลุ่มที่ไม่ตรงไปตรงมา ซึ่งต้องอาศัยการสังเคราะห์ข้อมูลออนไลน์จำนวนมาก และสามารถอ้างอิงแหล่งที่มาของแต่ละข้อกล่าวอ้างได้
เรายังได้ทดสอบกลยุทธ์การรวมผลลัพธ์ โดยใช้ 3 แนวทางสำหรับ 64 ผลลัพธ์ที่สุ่มได้ต่อคำถาม ได้แก่ majority voting, weighted voting และ best-of-N ซึ่ง majority voting คือการเลือกคำตอบที่พบมากที่สุดในกลุ่มตัวอย่าง
ศัพท์ที่ควรรู้
- AI agents – คือโปรแกรมปัญญาประดิษฐ์ที่สามารถทำงานต่างๆ ได้ เช่น การค้นหาข้อมูล
- BrowseComp – คือเกณฑ์มาตรฐานที่ใช้ในการวัดประสิทธิภาพของ AI agents ที่ต้องท่องเว็บ
- Persistence – หมายถึงความสามารถในการคงอยู่หรือติดตามเป้าหมายในการค้นหาข้อมูลอย่างต่อเนื่อง
- Majority voting – คือกลยุทธ์การตัดสินใจโดยการเลือกคำตอบที่ได้รับเสียงส่วนใหญ่จากผลลัพธ์ที่สุ่มมา
ที่มา: OpenAI