สำหรับการฝึกโมเดล เราเลือกใช้ชุดข้อมูล Reddit TL;DR แทนชุดข้อมูล CNN/DM ที่เป็นที่นิยมมากกว่า เนื่องจากพบว่าการคัดลอกพื้นฐานจาก TL;DR ให้ผลลัพธ์ที่ดีกว่าบทสรุปอ้างอิงของ CNN/DM ในขณะที่ TL;DR นั้นไม่เป็นเช่นนั้น
เราพบว่าผู้ประเมินที่เป็นมนุษย์ให้คะแนนโมเดล Lead-3 (การนำ 3 ประโยคแรกของบทความ) สูงกว่าบทสรุปอ้างอิงในชุดข้อมูล CNN/DM และเราได้ยืนยันด้วยตนเองแล้วว่าเช่นนั้น
เราเลือกแนวทางนี้เพราะการเปรียบเทียบโมเดล TL;DR กับโมเดลที่ฝึกจาก CNN/DM นั้นทำได้ยาก เนื่องจากบทสรุปของ CNN/DM นั้นยาวกว่าและอยู่ในรูปแบบรายการหัวข้อย่อย
แม้ว่า TL;DR อ้างอิงจะได้รับคะแนนโดยรวมที่สมบูรณ์แบบถึง 23% แต่ก็แสดงให้เห็นว่ายังมีช่องทางในการปรับปรุงอีกมาก
คำขอบคุณ
เราขอขอบคุณบุคคลต่อไปนี้ที่ให้ข้อเสนอแนะในส่วนต่างๆ ของบล็อกโพสต์นี้
ศัพท์ที่ควรรู้
- Reddit TL;DR dataset – ชุดข้อมูลที่มาจาก Reddit ซึ่งเป็นรูปแบบการสรุปย่อของโพสต์นั้นๆ
- CNN/DM dataset – ชุดข้อมูลมาตรฐานที่ใช้ในการฝึกโมเดลสรุปข้อความ
- Lead-3 baseline – แนวทางการสร้างโมเดลโดยการนำ 3 ประโยคแรกของบทความมาใช้เป็นข้อสรุป
- Overall score – คะแนนโดยรวมที่ใช้ในการวัดประสิทธิภาพของโมเดล
ที่มา: OpenAI