Aleph Alpha ได้เปิดตัว Kolibri เมื่อวันที่ 3 ตุลาคม โดยโมเดลนี้มีพารามิเตอร์ทั้งหมด 78.1 พันล้านตัว และมีพารามิเตอร์ที่ใช้งานจริง 3.46 พันล้านตัวต่อโทเค็น
โมเดลการ์ดแนะนำให้ใช้สูงสุด 262,144 โทเค็น แม้ว่าจะผ่านการทดสอบที่ 1,048,576 โทเค็นก็ตาม ซึ่งเปิดโอกาสให้มีการใช้งานในบริบทภาษาเยอรมันและอังกฤษ
ในส่วนของขนาดโมเดล โมเดลมีพารามิเตอร์ทั้งหมด 78,103,074,560 ตัว และมีพารามิเตอร์ที่ใช้งานจริง 3,457,573,120 ตัวต่อโทเค็น โดยมีขนาดน้ำหนักโดยประมาณที่ 78 GB ในรูปแบบ FP8
ในส่วนของความยาวบริบทนั้น ความแตกต่างระหว่างที่แนะนำและที่ผ่านการทดสอบคือสี่เท่า ดังนั้นจึงควรใช้คำแนะนำเป็นขอบเขตเริ่มต้นในการทดลองใช้งาน
สำหรับซอฟต์แวร์ในการให้บริการนั้น ระบุว่ารองรับ vLLM 0.29 และควรมีการกำหนดการติดตั้งที่ชัดเจนระหว่างปลั๊กอิน, โทเคไนเซอร์ และการแก้ไขจุดตรวจสอบ
รายงานระบุถึงทั้งจุดแข็งและจุดอ่อนในการทดสอบ ซึ่งทีมติดตั้งใช้งานควรพิจารณาอย่างรอบด้านเพื่อค้นพบกรณีที่ต้องเผชิญในการใช้งานจริง
ศัพท์ที่ควรรู้
- Total parameters – พารามิเตอร์ทั้งหมดคือจำนวนตัวแปรทั้งหมดที่โมเดลใช้ในการเรียนรู้และทำงาน
- Active parameters per token – พารามิเตอร์ที่ใช้งานจริงต่อโทเค็นคือส่วนของพารามิเตอร์ที่ถูกเรียกใช้เมื่อประมวลผลแต่ละหน่วยข้อมูล
- FP8 weight footprint – คือขนาดของน้ำหนักโมเดลที่ถูกประมาณการในรูปแบบ FP8 ซึ่งบ่งบอกถึงการใช้หน่วยความจำ
- Context Length – คือความยาวของข้อมูลที่โมเดลสามารถรับเข้ามาเพื่อประมวลผลในครั้งเดียว
- vLLM – คือซอฟต์แวร์ที่ใช้ในการให้บริการโมเดล (Serving Software) ซึ่งช่วยในการจัดการการอนุมาน
ที่มา: LLM Rumors