การฟ้องร้องที่ยื่นเมื่อเดือนนี้ระบุว่า เธอใช้เวลามากกว่าสี่สัปดาห์ในการทำงานในเอกสาร Google Doc ชื่อ “Funeral” โดยใช้ AI Mode และโต้ตอบกับเครื่องมือ Gemini นับพันครั้ง ก่อนจะเริ่มเขียนคำกล่าวไว้อาลัยยาว 1,500 คำในช่วงสองวันที่ใกล้วันวาเลนไทน์
Google แถลงผ่าน José Castañeda ว่าบริษัทกำลัง “ทบทวนข้อกล่าวหาในการฟ้องร้องอย่างจริงจัง” และระบบของบริษัท รวมถึง AI Mode มีเป้าหมายเพื่อป้องกันไม่ให้ผู้ใช้มีบทสนทนาที่เป็นอันตราย โดยเน้นว่าได้ทำงานร่วมกับผู้เชี่ยวชาญทางการแพทย์เพื่อสร้างคุณสมบัติที่ช่วยสนับสนุนเยาวชน
อย่างไรก็ตาม การที่การโต้ตอบของเธอเกี่ยวกับ “การแขวนคอ การขาดอากาศหายใจ และการใช้ยาเกินขนาด” ถูกมองข้ามไปเกือบสองเดือนนั้น ชี้ให้เห็นว่าการสนทนาในแชทบอทที่ฝังอยู่ใน Google Search อาจเป็นจุดบอดของระบบ
Benjamin Boudreaux นักวิจัยด้านนโยบายจาก Rand เตือนว่า บางโรงเรียนอาจรีบร้อนใช้เครื่องมือโดยไม่ได้พิจารณาข้อจำกัดและกระบวนการที่เหมาะสมในการตอบสนองต่อการแจ้งเตือน ซึ่งการเชื่อมต่อของมนุษย์เท่านั้นที่สามารถแก้ไขปัญหาที่ต้นตอได้
ศัพท์ที่ควรรู้
- Gemini – คือเครื่องมือ AI ที่นักเรียนใช้ในการสนทนาและโต้ตอบด้วย
- AI Mode – คือคุณสมบัติของ Google Doc ที่ช่วยให้ผู้ใช้สามารถใช้ปัญญาประดิษฐ์ในการช่วยงานเขียน
- Google Doc – คือโปรแกรมเอกสารออนไลน์ของ Google ที่ถูกใช้ในการร่างคำกล่าวไว้อาลัย
- GoGuardian – คือซอฟต์แวร์ที่โรงเรียนใช้ในการติดตามกิจกรรมบนอุปกรณ์ของนักเรียน
- Blind Spot – คือจุดบอดของระบบที่ทำให้การเตือนภัยไม่ถูกตรวจจับทันท่วงที
ที่มา: Wired