Large language models ให้คำตอบที่หลากหลายขณะอนุมาน (generation) ซึ่งโดยปกติจะขึ้นอยู่กับพารามิเตอร์ temperature การศึกษานี้ได้ให้การวิเคราะห์เชิงปริมาณโดยใช้ entropy สำหรับการวัดความหลากหลายของคำตอบด้วยแนวทาง conditional mutual information
มีการกำหนดพฤติกรรมจำกัดสามแบบ ได้แก่ arbiter, independent (conditionally) และ neutral (deterministic) ซึ่งสามารถครอบคลุมค่า mutual information ได้ตั้งแต่ศูนย์ไปจนถึงค่าสูงสุด
ผู้วิจัยได้ยกตัวอย่างของแต่ละพฤติกรรมและเสนอแนะการนำไปประยุกต์ใช้กับการวิเคราะห์ temperature, การวิเคราะห์ภาษา, การบีบอัดพรอมต์ และ knowledge graphs
ศัพท์ที่ควรรู้
- Large language models – คือแบบจำลองภาษาขนาดใหญ่ที่ใช้ในการสร้างข้อความ
- Inference – คือกระบวนการที่โมเดลถูกนำไปใช้งานเพื่อสร้างผลลัพธ์
- Temperature parameter – คือพารามิเตอร์ที่ควบคุมระดับความสุ่มในการสร้างคำตอบของโมเดล
- Conditional mutual information – คือแนวทางทางคณิตศาสตร์ที่ใช้วัดความสัมพันธ์ระหว่างตัวแปรภายใต้เงื่อนไขที่กำหนด
- Arbiter, Independent, Neutral – คือสามพฤติกรรมจำกัดที่ใช้อธิบายระดับความหลากหลายของคำตอบ
ที่มา: arxiv.org