การเรียนรู้แบบ Multi-Task Offline Reinforcement Learning (MTRL) มีเป้าหมายเพื่อเรียนรู้ Policy เดียวจากชุดข้อมูลแบบออฟไลน์ที่ไม่เหมือนกัน แต่การใช้วิธีการ MTRL แบบเดิมมักประสบปัญหาสำคัญสองประการ คือ การขาดแคลนข้อมูลอย่างรุนแรงสำหรับแต่ละงาน และการสรุปข้ามงานที่จำกัด
ในงานนี้ ผู้วิจัยเสนอ Language-Model Augmented Decision Transformer (LaMA-DT) ซึ่งเป็นกรอบการทำงานแบบรวมศูนย์ที่ใช้ LLM เดียวสำหรับทั้งการเสริมข้อมูลเส้นทางและการเรียนรู้ Policy แบบ Multi-Task
LaMA-DT ใช้คำอธิบายงานที่เป็นภาษาธรรมชาติเพื่อชี้นำการเสริมข้อมูลเส้นทางที่สอดคล้องกับงานผ่านวัตถุประสงค์การสร้างและการจัดแนวแบบมีผู้สอน และรวมกลไกการให้คะแนนและการกรองเพื่อรักษาเส้นทางที่ถูกเสริมที่มีคุณภาพสูง
LLM เดียวกันถูกนำมาใช้ใหม่เป็น Decision Transformer ที่มีเงื่อนไขทางภาษา และปรับแต่งเพิ่มเติมบนส่วนผสมของข้อมูลจริงและข้อมูลที่ถูกเสริม
การทดลองบนชุดข้อมูล Meta-World และ MuJoCo แสดงให้เห็นว่า LaMA-DT มีประสิทธิภาพเหนือกว่าวิธีการพื้นฐานอย่างต่อเนื่อง โดยเฉพาะอย่างยิ่งในสภาวะที่มีข้อมูลจำกัด ซึ่งการเสริมข้อมูลด้วยภาษาช่วยปรับปรุงการสรุปข้ามงานได้อย่างมาก
ศัพท์ที่ควรรู้
- Offline multi-task reinforcement learning (MTRL) – การเรียนรู้แบบเสริมแรงหลายงานจากชุดข้อมูลที่บันทึกไว้ล่วงหน้า
- Trajectory augmentation – การเสริมข้อมูลเส้นทาง คือการสร้างข้อมูลเพิ่มเติมเพื่อเพิ่มปริมาณข้อมูลการเรียนรู้
- Large language model (LLM) – โมเดลภาษาขนาดใหญ่ที่ถูกนำมาใช้เป็นแกนกลางในการเรียนรู้
- Decision Transformer – สถาปัตยกรรมที่ใช้ LLM ในการตัดสินใจโดยมีเงื่อนไขทางภาษาเข้ามาเกี่ยวข้อง
ที่มา: arxiv.org