เลิกนับโทเคน เริ่มนับสิ่งที่ส่งมอบให้ลูกค้า

การวัดผลที่ดีกว่าคือต้นทุนต่อ pull request ที่ถูกรวมเข้าด้วยกัน ซึ่งคำนวณจากต้นทุนการพัฒนาทั้งหมดที่ได้รับความช่วยเหลือจาก AI หารด้วยจำนวนการเปลี่ยนแปลงที่ผ่านการตรวจสอบและถูกรวมเข้าด้วยกัน คำถามไม่ใช่ว่าใช้โทเคนเท่าไหร่ แต่การลงทุนนั้นสร้างผลงานสำเร็จได้มากแค่ไหน การปรับปรุงสมการนี้ต้องทำสองอย่าง คือ สำรองการอนุมาน (inference) ราคาแพงสำหรับงานที่จำเป็น และลดต้นทุนสำหรับงานประจำ

ควรส่งงานที่เหมาะสม เช่น การสร้างโค้ด การสร้างแบบทดสอบ และการปรับปรุงโค้ดซ้ำๆ ไปยัง open-weight models ที่องค์กรควบคุมเอง เพื่อสงวนการอนุมานระดับพรีเมียมไว้สำหรับช่วงเวลาที่สมควรได้รับ ไม่ใช่การใช้ราคาสูงสำหรับทั้งเวิร์กโฟลว์

สำหรับ HPE แพลตฟอร์ม AI แบบไฮบริดได้ส่งงานประจำจากแอปพลิเคชันภายใน 150+ ไปยัง open-weight models ที่ติดตั้งในองค์กร ซึ่งผู้ใช้กลุ่มบนสุด 5% สร้างการใช้งานส่วนใหญ่ และผู้ใช้หนักที่สุดใช้มากกว่ากลุ่มที่เบาที่สุดถึง 450 เท่า หากผู้ใช้กลุ่มเปี่ยมไปด้วยศักยภาพเติบโตจากกลุ่มน้อยไปเป็นครึ่งหนึ่งของพนักงาน ค่าใช้จ่ายรายเดือนอาจเพิ่มขึ้น 4.4 เท่า แม้จำนวนพนักงานจะคงที่ ดังนั้นควรติดตามต้นทุนต่อผู้พัฒนาที่ใช้งานอยู่ เพราะการเฉลี่ยทั้งหมดจะซ่อนผู้ใช้กลุ่มเปี่ยมไปด้วยศักยภาพที่ขับเคลื่อนค่าใช้จ่าย

ทางเลือกที่แท้จริงคือการเติบโตนั้นจะปรากฏเป็นบิลต้นทุนผันแปรที่ใหญ่ขึ้น หรือเป็นซอฟต์แวร์ที่ถูกส่งมอบบนขีดความสามารถที่องค์กรเป็นเจ้าของ

ศัพท์ที่ควรรู้

  • AI agent – ตัวแทน AI ที่ถูกใช้ในการทำงาน เช่น การช่วยเขียนโค้ด
  • Tokens – หน่วยข้อมูลที่ใช้ในการประมวลผลของโมเดล AI
  • Inference – กระบวนการที่โมเดล AI ใช้ในการสร้างผลลัพธ์หรือการคาดการณ์จากข้อมูล
  • Open-weight models – โมเดล AI ที่เปิดให้ใช้งานและปรับแต่งได้ ซึ่งองค์กรสามารถควบคุมเองได้

ที่มา: technologyreview.com

Leave a Comment