Small language models (≤9B parameters) สามารถรองรับการตอบคำถามทางการแพทย์ในเครื่องได้ ซึ่งช่วยลดข้อกังวลด้านความเป็นส่วนตัวและความหน่วง แต่การปรับแต่งให้มีประสิทธิภาพยังคงเป็นเรื่องท้าทาย
งานวิจัยนี้เปรียบเทียบสองวิธีปรับแต่งแบบ CoT คือ Uniform-across-Sequence (UaS) ที่ให้น้ำหนัก Loss เท่ากันทั้ง CoT และคำตอบ และ Segment-weighted (SwS) ที่ให้น้ำหนัก Loss ของ CoT และคำตอบแยกกัน
จากการทดสอบกับโมเดลทั่วไปและโมเดลทางการแพทย์ พบว่าในแบบปรนัย (MedQA และ EMS-MCQA) นั้น SwS มักให้ผลลัพธ์ที่ดีกว่า โดยเฉพาะโมเดลทั่วไปอย่าง Qwen3.5-4B ที่ปรับปรุงได้ถึง 44.8% บน MedQA แต่ในแบบข้อความอิสระ (Med-O1) นั้น UaS ทำงานได้ดีที่สุดสำหรับเกือบทุกโมเดล
นอกจากนี้ ยังพบว่าการสร้าง CoT ที่ยาวเกินไปอาจสัมพันธ์กับประสิทธิภาพที่ต่ำลงในบางโมเดล ดังนั้นการจำกัดความยาว CoT ระหว่างการฝึกอาจเป็นประโยชน์สำหรับโมเดลบางตัว
ศัพท์ที่ควรรู้
- Small language models – โมเดลภาษาขนาดเล็กที่ใช้ในการตอบคำถามทางการแพทย์โดยมีพารามิเตอร์ไม่เกิน 9 พันล้านตัว
- Chain-of-Thought (CoT) – เทคนิคที่ให้โมเดลแสดงขั้นตอนการคิดก่อนให้คำตอบสุดท้าย
- Uniform-across-Sequence (UaS) – วิธีการให้น้ำหนัก Loss ที่ใช้ค่าเดียวกันกับทั้งลำดับ CoT และคำตอบ
- Segment-weighted (SwS) – วิธีการให้น้ำหนัก Loss ที่แยกการคำนวณระหว่างส่วน CoT และส่วนคำตอบ
ที่มา: arxiv.org