เราสามารถศึกษาการสุ่มตัวอย่างแบบ Best-of ได้อย่างเป็นทางการ โดยมีปริภูมิตัวอย่าง การแจกแจงความน่าจะเป็น เป้าหมายที่แท้จริง และเป้าหมายตัวแทน (proxy objective) ที่เราใช้ในการปรับให้เหมาะสม
แนวทางแบบ Monte Carlo คือการรันการสุ่มตัวอย่างหลายครั้ง วัดเป้าหมายที่แท้จริง และหาค่าเฉลี่ย หากเรามีตัวอย่างครบทั้งหมด เราสามารถพิจารณาการถ่วงน้ำหนักแต่ละตัวอย่างตามอันดับที่มันได้รับจากเป้าหมายตัวแทน
การประมาณค่าด้วยวิธีนี้ช่วยให้เราวิเคราะห์ได้อย่างชัดเจนว่าเป้าหมายที่แท้จริงเปลี่ยนแปลงไปอย่างไรเมื่อมีการปรับให้เหมาะสมกับเป้าหมายตัวแทนมากขึ้น
ศัพท์ที่ควรรู้
- Sample Space – คือเซตของคู่คำถาม-คำตอบที่เป็นไปได้ทั้งหมดในการทดลอง
- Probability Distribution – คือการแจกแจงความน่าจะเป็นที่กำหนดให้กับแต่ละผลลัพธ์ที่เป็นไปได้
- True Objective – คือเป้าหมายหรือรางวัลที่แท้จริงที่เราต้องการวัดผล
- Proxy Objective – คือเป้าหมายตัวแทนที่เราใช้ในการประมาณค่าเป้าหมายที่แท้จริง
- Monte Carlo estimator – คือวิธีการประมาณค่าโดยการรันการทดลองซ้ำๆ และหาค่าเฉลี่ย
ที่มา: OpenAI