LLMs อาศัยบริบทในการสร้างโทเค็นถัดไป ซึ่งในบริบทที่ยาวนั้นประกอบด้วยหลายองค์ประกอบ เช่น system prompt, บทสนทนาก่อนหน้า, คำสั่งที่ใช้กับเอกสารที่ดึงมา, การตอบสนองจากเครื่องมือ หรือข้อมูลผู้ใช้
LLMON-converters library ของพวกเขายังสามารถคงโครงสร้างของข้อมูล เช่น เอกสาร JSON ไว้เป็นบล็อกที่ระบุได้ แทนที่จะเป็นเพียงสตริงที่ไม่สามารถระบุได้
การฝึกฝนโมเดลใช้กระบวนการ Reinforcement learning ที่ประกอบด้วย 5 ขั้นตอน GRPO ต่อเนื่อง รวมถึง RLHF และ DPO โดยมีกฎการใช้งานที่เกิดจากโครงสร้างนี้เอง
มีการสาธิตการใช้งานบน ScienceWorld ซึ่งเป็น benchmark ที่ให้ Agent ทำภารกิจวิทยาศาสตร์พื้นฐานโดยการออกคำสั่งทีละครั้งและรับคะแนนจาก Simulator
LLMON เกี่ยวข้องกับ chat templates อย่างไร
โมเดลพรีวิว LLMON มาพร้อมกับ chat template ของตัวเอง ดังนั้นจึงสามารถสร้างรายการข้อความเหมือนกับที่ส่งไปยัง chat model ใดๆ และเรียกใช้ apply_chat_template ได้ตามปกติ
ความสามารถทั่วไป
LLMON-converters library ของพวกเขาลึกกว่านั้น โดยสามารถรักษาโครงสร้างของส่วนต่างๆ ที่เป็นโครงสร้าง เช่น เอกสาร JSON ให้เป็นบล็อกที่ระบุได้ตามประเภท ไม่ใช่แค่สตริงเดียว
เราฝึกโมเดลอย่างไร
การเรียนรู้แบบเสริมกำลัง (Reinforcement learning) ประกอบด้วย 5 ขั้นตอน GRPO ต่อเนื่อง ครอบคลุมการให้เหตุผลหลายโดเมน, RLHF, การปรับเทียบความรู้ และคณิตศาสตร์ ตามด้วยขั้นตอน DPO สุดท้าย
นำคำศัพท์ของตนเองมาใช้ (ScienceWorld)
พวกเขาได้แสดงให้เห็นบน ScienceWorld ซึ่งเป็น benchmark ที่ Agent ทำภารกิจวิทยาศาสตร์พื้นฐาน เช่น การต้มน้ำ โดยการออกคำสั่งทีละครั้งและรับคะแนนจาก Simulator
ศัพท์ที่ควรรู้
- LLM (Large Language Model) – คือแบบจำลองภาษาขนาดใหญ่ที่ใช้ในการสร้างข้อความและการประมวลผลภาษาธรรมชาติ
- Context – คือบริบททั้งหมดที่โมเดลใช้ในการตัดสินใจและสร้างเอาต์พุตถัดไป
- System prompt – คือคำสั่งเริ่มต้นที่กำหนดบทบาทหรือข้อจำกัดให้กับโมเดล
- LLMON – คือภาษา Markup ที่ออกแบบมาโดยเฉพาะสำหรับ LLM เพื่อจัดการบริบทอย่างมีโครงสร้าง
- GRPO/DPO – คือขั้นตอนการฝึกฝนโมเดลโดยใช้ Reinforcement learning เพื่อปรับปรุงประสิทธิภาพของโมเดล
ที่มา: huggingface.co