webAI ได้เปิดตัว TwIL-8B ซึ่งเป็นโมเดลให้เหตุผลแบบ open-weights ขนาด 8.8B ที่สามารถทำงานได้ในเครื่องด้วยหน่วยความจำเพียง 4.98 GiB
TwIL-8B เป็นโมเดลให้เหตุผลแบบ dense decoder-only ของ webAI โดยมี 40 เลเยอร์, hidden size 4096, และ 32 attention heads พร้อม 8 KV heads
อินพุตและเอาต์พุตของโมเดลนี้รองรับเฉพาะภาษาอังกฤษเท่านั้น และโมเดลจะเขียนบล็อก <think> ก่อนให้คำตอบในแต่ละครั้ง
โมเดลนี้ทำคะแนนได้ 98.2 บน MATH-500 และสามารถติดตามโค้ดต้นฉบับได้ที่ GitHub
ศัพท์ที่ควรรู้
- webAI – คือผู้พัฒนาโมเดล TwIL-8B ที่ถูกกล่าวถึงในข่าว
- TwIL-8B – คือชื่อของโมเดลให้เหตุผลที่เปิดตัวโดย webAI
- open-weights model – คือโมเดลที่เปิดเผยน้ำหนัก ทำให้ผู้ใช้สามารถเข้าถึงและปรับแต่งได้
- dense decoder-only – คือสถาปัตยกรรมของโมเดลที่ใช้ในการถอดรหัสและให้เหตุผล
- MATH-500 – คือชุดทดสอบมาตรฐานที่โมเดลถูกนำไปวัดประสิทธิภาพ
ที่มา: marktechpost.com