บทความนี้ประกอบด้วยส่วนอ้างอิงและคำขอบคุณสำหรับผู้ร่วมงานในโครงการที่เกี่ยวข้องกับโมเดล GPT และการประยุกต์ใช้กับข้อมูลภาพ โดยมีการกล่าวถึงงานวิจัยก่อนหน้าและรายละเอียดทางเทคนิคของโมเดล
ในส่วนของเชิงอรรศาณมีการอธิบายถึงการฝึกฝน Transformer เพื่อให้เกิดความหลากหลายของตัวอย่าง และวิธีการที่ใช้ในการวิเคราะห์โมเดล โดยเฉพาะการใช้ Linear Probe Accuracy บน ImageNet สำหรับ iGPT-XL
สำหรับการสกัดคุณลักษณะ (feature extraction) เพื่อใช้ในการทดสอบ จะใช้อินพุตจาก attention block หลัง layernorm ในเลเยอร์หนึ่ง และสำหรับการปรับแต่งโมเดล (fine-tune) จะใช้เอาต์พุตของ Transformer หลัง layernorm เป็นอินพุตสำหรับ classification head
เชิงอรรศาณ
อธิบายว่า Transformer ถูกฝึกให้เพิ่มความน่าจะเป็นสูงสุด ซึ่งรับประกันความหลากหลายของตัวอย่างโดยอัตโนมัติ และกล่าวถึงการวิเคราะห์ที่ใช้กับโมเดลที่มีตัวแปรแฝง (latent variables)
เอกสารอ้างอิง
มีการอ้างอิงถึงงานวิจัยสำคัญ เช่น Sparse attentive backtracking, GPipe และการเรียนรู้แบบไม่กึ่งควบคุม (Unsupervised Learning) กับโปรตีน
คำขอบคุณ
กล่าวถึงผู้ร่วมงานหลักและผู้ให้ข้อเสนอแนะที่มีส่วนช่วยในการเผยแพร่งานวิจัยนี้
ที่มา: OpenAI