SteelAgent ผสานรวมคำอธิบายทางโลหะวิทยาเข้ากับโมเดล Machine Learning และอินเทอร์เฟซของ Language Model เพื่อทำนายคุณสมบัติของเหล็ก พร้อมทั้งรายงานความไม่แน่นอนและการออกแบบย้อนกลับ
ในการประเมินด้วย SteelBench พบว่าเมื่อใช้กลุ่มตัวอย่างที่ถูกกันไว้ (held-out unit) สำหรับการประเมิน อาจทำให้ข้อสรุปที่ได้เปลี่ยนแปลงไปอย่างมาก เช่น $R^2$ สำหรับ gradient boosting ลดลงจาก 0.859 บนการแบ่งแบบสุ่ม เหลือ 0.113 เมื่อกันกลุ่มเหล็กไว้
การครอบคลุมเชิงประจักษ์ของช่วงการทำนายตามทฤษฎี 90% มีตั้งแต่ 91.0% เมื่อแบ่งแบบสุ่ม ไปจนถึง 37.6% บนแหล่งข้อมูลที่ถูกกันไว้
การเพิ่มคุณลักษณะที่มาจากหลักการทางฟิสิกส์มีผลแตกต่างกันไป ขึ้นอยู่กับการประเมิน โดยเพิ่ม $R^2$ ของ gradient-boosting ขึ้น 0.2534 ในการวิเคราะห์กัน 17 กลุ่ม แต่ลดลง 0.358 ในการวิเคราะห์ห้องปฏิบัติการสี่เกรด
ผลลัพธ์เหล่านี้ชี้ให้เห็นถึงความจำเป็นในการรายงานประชากรที่ใช้ในการประเมินควบคู่ไปกับการประมาณค่าคุณสมบัติหรือคะแนนการปฏิบัติตามข้อกำหนด
ศัพท์ที่ควรรู้
- LLM – Language Model คือแบบจำลองภาษาที่ใช้ในการประมวลผลและสื่อสารของระบบ
- Machine Learning – คือการเรียนรู้ของเครื่อง ซึ่งเป็นเทคนิคที่ทำให้คอมพิวเตอร์เรียนรู้จากข้อมูล
- Gradient Boosting – เป็นหนึ่งในอัลกอริทึม Machine Learning ที่ใช้ในการทำนายและปรับปรุงโมเดล
- $R^2$ – คือค่าที่ใช้วัดว่าโมเดลทำนายได้ใกล้เคียงกับข้อมูลจริงมากน้อยเพียงใด
- Held-out unit – คือชุดข้อมูลที่ถูกกันไว้เพื่อใช้ในการทดสอบประสิทธิภาพของโมเดลหลังจากฝึกเสร็จแล้ว
ที่มา: LLM Stats AI News
ที่มา: arxiv.org