การเพิ่มขึ้นของประสิทธิภาพในการคำนวณที่เกิดขึ้นในแบบจำลอง AI นั้น เป็นเรื่องยากที่จะสังเกตเห็นโดยตรง แม้ว่าอาจจะสามารถสังเกตได้ผ่านการวิเคราะห์เชิงเส้นหรือการคาดการณ์จากกฎการปรับขนาดที่ได้จากการทดลองก็ตาม
การคาดการณ์ที่น่าเชื่อถือเกี่ยวกับเรื่องเหล่านี้ถือเป็นภารกิจที่ใหญ่หลวง ดังนั้นผู้เขียนจึงเลือกที่จะไม่ลงรายละเอียดในส่วนนี้เพื่อหลีกเลี่ยงการให้ข้อมูลที่ไม่เพียงพอ
บทความนี้ยังได้มีการอ้างอิงถึงงานวิจัยและบุคคลสำคัญที่ให้ข้อคิดเห็นและข้อมูลที่เป็นประโยชน์ต่อการพัฒนา AI ด้วย
ศัพท์ที่ควรรู้
- Compute Scaling – การปรับขนาดการคำนวณ หมายถึงการเพิ่มทรัพยากรการประมวลผลให้รองรับโมเดลที่ใหญ่ขึ้น
- Asymptotic analysis – การวิเคราะห์เชิงเส้น หมายถึงการศึกษาพฤติกรรมของระบบเมื่อเข้าใกล้สภาวะจำกัดหรือในระยะยาว
- Extrapolating empirically derived scaling laws – การอ้างอิงกฎการปรับขนาดที่ได้จากการทดลอง หมายถึงการนำรูปแบบการเติบโตที่สังเกตได้จากการทดลองมาใช้คาดการณ์ในสเกลที่ใหญ่ขึ้น
ที่มา: OpenAI