Fireworks เสนอโมเดล open-weight ตัวเลือกประหยัดกว่าโมเดลระดับหน้าต่าง Anthropic

Anthropic ทำ IPO ใหญ่ที่สุดในประวัติศาสตร์ ในวันเดียวกันที่งาน Slush ที่เฮลซิงกี้พูดคุยถึง open-source ทุกอย่าง Fireworks บริษัทที่เชี่ยวชาญโมเดล open-weight ให้ลูกค้าดาวน์โหลดและปรับแต่งบนข้อมูลตัวเอง ทำให้รันเร็วกว่า ถูกกว่า และยากกว่าที่จะถูกคัดลอกโดยคู่แข่ง

ผู้ก่อตั้ง Zhao กล่าวว่าบริษัทกำลังเปลี่ยนมายังแพลตฟอร์มแบบนี้เพราะโมเดลระดับหน้าต่าง (frontier models) ราคาแพงและในกรณีส่วนใหญ่ไม่จำเป็น เว้นแต่ต้องการปัญญาทั่วไปล่าสุด ยังมีความกังวลว่า lab โมเดลใหญ่ดูดข้อมูลความรู้ของลูกค้าผ่าน prompt ซึ่ง Satya Nadella CEO Microsoft เคยยกขึ้นมาในเดือนกรกฎาคม

เกิดเหตุรักษาความปลอดภัยสองครั้ง: แฮกเกอร์เข้าถึง API keys และ tokens ที่เก็บเป็น secrets ของบัญชีจำนวนจำกัด และอีกครั้งบุกโครงสร้างคลาวด์เข้าระบบพัฒนาขโมยข้อมูลลูกค้ารวมถึงบิลลิ่งและชุดข้อมูล Uber แจ้งว่าข้อมูลคนขับราว 150,000 รายถูกขโมยผ่าน vendor ที่ TechCrunch ระบุว่าเป็น Fireworks

Fireworks ได้รับมูลค่า 17.5 พันล้านดอลลาร์ในช่วงกลางปี และกำลังเจรจารอบเงินทุนใหม่ (Zhao ไม่แสดงความคิดเห็น) เมื่อผู้ใช้เกิน 10,000-100,000 รายและจ่ายโทเคนเดือนละ 10,000-100,000 ดอลลาร์ ก็ควรพิจารณา open-source ทำให้มีความสนใจใน routing และคิดค่าใช้จ่ายต่องานแทนต่อโทเคน เหตุการณ์ล่าสุดมีแรงจูงใจจาก LLM jacking คือการล่าหา API keys และ secrets เพื่อขายโทเคนในตลาดผิดกฎหมาย Jensen Huang ลาออกจาก Nvidia สัปดาห์ที่แล้ว ในขณะที่ Nvidia สนับสนุน Fireworks มาตั้งแต่ 2024

ศัพท์ที่ควรรู้

  • open-weight models – โมเดลที่เผยแพร่วงน้ำหนัก (weights) ให้ดาวน์โหลดและปรับแต่งได้ด้วยตนเอง
  • API keys – รหัสประจำตัวที่ใช้เรียกบริการผ่าน API
  • tokens – หน่วยนับการใช้งานโมเดลภาษา ขนาดข้อความที่ส่งหรือรับ
  • LLM jacking – การขโมย API keys และ secrets ของผู้ให้บริการ LLM เพื่อขายโทเคนในตลาดผิดกฎหมาย
  • routing – เทคนิคส่งคำขอไปยังโมเดลที่เหมาะสมที่สุดเพื่อลดต้นทุนต่องาน

ที่มา: TechCrunch

Leave a Comment