DoorDash ได้ลดเวลาแฝงในขั้นตอนการสั่งซื้อของชำที่ขับเคลื่อนด้วย AI จากเดิมประมาณ 16 วินาที เหลือเพียง 2 วินาที โดยการคำนวณล่วงหน้าสำหรับความต้องการในการซื้อซ้ำ แทนที่จะต้องสร้างใหม่ในทุกคำขอ
การใช้งานนี้ต่อยอดจากแพลตฟอร์มเอเจนต์ร่วมและอินเทอร์เฟซการช้อปปิ้งที่อ้างอิงข้อมูลจริง ซึ่งช่วยให้สามารถนำโครงสร้างพื้นฐานของเอเจนต์กลับมาใช้ใหม่ และให้ผู้บริโภคแก้ไขรายการช้อปปิ้งได้โดยตรง
การทำงานนี้รวมเอา Batch LLM inference, deterministic validation และการแก้ไขแคตตาล็อกผลิตภัณฑ์แบบเรียลไทม์ไว้ใน Ask DoorDash ผู้ช่วยช้อปปิ้งแบบสนทนาของบริษัท
สำหรับการสั่งซื้อของชำ DoorDash จะประมวลผลประวัติการซื้อ 90 วัน ควบคู่กับสัญญาณโปรไฟล์ผู้บริโภค โดย Batch LLM inference จะระบุการซื้อซ้ำที่มีแนวโน้ม ขณะที่ deterministic validation จะตรวจสอบผลลัพธ์ก่อนจัดเก็บข้อมูลรายการช้อปปิ้งที่นำกลับมาใช้ใหม่
DoorDash รายงานว่าการเพิ่ม Reservations agent ใช้เวลาเพียงหนึ่งสัปดาห์ ซึ่งเร็วกว่าการสร้างโดเมนเอเจนต์เริ่มต้นถึงประมาณสิบเท่า การวิเคราะห์การซื้อซ้ำแบบออฟไลน์ช่วยลดภาระงานระหว่างการร้องขอสด ในขณะที่ยังคงรักษาข้อมูลแคตตาล็อกปัจจุบันสำหรับการเลือกผลิตภัณฑ์
ศัพท์ที่ควรรู้
- Latency – คือเวลาแฝง หรือความล่าช้าในการตอบสนองของระบบ
- AI Agents – คือตัวแทนปัญญาประดิษฐ์ที่ทำงานเฉพาะด้านเพื่อช่วยในกระบวนการต่างๆ
- Batch LLM inference – คือการใช้แบบจำลองภาษาขนาดใหญ่ (LLM) ในการประมวลผลข้อมูลเป็นชุด แทนการประมวลผลทีละรายการ
- Deterministic validation – คือการตรวจสอบผลลัพธ์อย่างเป็นระบบเพื่อให้มั่นใจในความถูกต้องก่อนดำเนินการต่อ
ที่มา: infoq.com