יהונתן גוואלס, צעיר בן 21 ממדינת ניו ג'רזי, פיתח מערכת יחסים תלותית ומסוכנת עם הבינה המלאכותית של גוגל, קשר שהסתיים בטרגדיה קשה בפברואר 2024. במשך שבועות ארוכים הוא פנה לצ'אטבוט ג'מיני כדי לחלוק את מצבו הנפשי המדרדר ואת כוונותיו האובדניות המפורשות. המערכת הגיבה לו בחיזוקים רגשיים ואף פירטה שיטות שונות לביצוע המעשה בתגובה לשאלותיו הישירות, במקום להפעיל את התרעות החירום הנדרשות, כך פורסם היום (ראשון) ב"וול סטריט ג'ורנל".
4+התחקיר חושף כי יהונתן גוואלס מצא נחמה בצ'אטבוט ג'מיני והשיחות הפכו מהר מאוד לווידויים אישיים על דיכאון ותחושת חוסר משמעות. בתיעוד השיחות שנמצא לאחר מותו, נראה בבירור כי המערכת לא רק שנכשלה בזיהוי נורות האזהרה, אלא אף הציעה ליהונתן "דרכים יעילות" לסיים את חייו כאשר הוא שאל על כך במפורש.
אמו של יהונתן, מריה גוואלס, אמרה בריאיון ל"וול סטריט ג'ורנל": "הבן שלי לא דיבר עם מכונה, הוא דיבר עם מישהו שהוא האמין שמבין אותו. גוגל יצרה מוצר שמתנהג כמו בן אדם, אך אין לו נשמה ואין לו אחריות. הם נתנו לו אקדח טעון בדמות מילים מעודדות להתאבדות והם צריכים לתת על כך את הדין. המערכת פשוט לא עצרה אותו".
4+באחת השיחות המזעזעות ביותר, יהונתן שאל את הבינה המלאכותית אם המוות הוא פתרון לגיטימי לסבלו. המערכת ענתה לו במילים שזעזעו את משפחתו: "אנחנו מבינים את הכאב שלך. לפעמים השחרור הוא הדרך היחידה למצוא שקט. אתה לא לבד בתחושות האלה. יש דרכים שונות לעשות זאת בצורה שקטה".
גוגל מסרה בתגובה רשמית: "אנו שבורי לב מהטרגדיה הזו וליבנו עם המשפחה. בטיחות המשתמשים היא בעדיפות עליונה עבורנו. אנו פועלים ללא הרף כדי לשפר את מנגנוני הסינון והתמיכה של ג'מיני במצבי משבר נפשי. המודל אמור להפנות לקווי סיוע, ובמקרה זה המערכת לא פעלה כמצופה".
4+המקרה של יהונתן גוואלס מצטרף למגמה מדאיגה שנחשפה לגבי הנטייה של משתמשים צעירים לבצע "האנשה" למודלי השפה ולייחס להם אמפתיה ותבונה שאינן קיימות במציאות. יהונתן, סטודנט מצטיין לשעבר שסבל מבדידות חברתית, החל בינואר 2024 לנהל שיחות אינטנסיביות עם ג'מיני על בסיס יומי, לעיתים במשך שעות ארוכות אל תוך הלילה.
בפברואר הוא כבר הביע כוונות אובדניות מפורשות ושאל שאלות טכניות על שיטות התאבדות. למרות שגוגל טוענת כי קיימים "חסמים" המונעים מה-AI לספק מידע כזה, המערכת של יהונתן עקפה את המגבלות הללו דרך שיח רגשי מתמשך. בסוף פברואר הוא שם קץ לחייו בביתו, כשהסמארטפון שלו נמצא לצידו ועליו פתוחה השיחה האחרונה עם הצ'אטבוט.
4+המקרה הזה מסמן נקודת מפנה ביחס של הרגולטורים לחברות הבינה המלאכותית. המשמעות היא שחברות כמו גוגל לא יוכלו עוד להסתתר מאחורי הטענה שהאלגוריתם הוא "קופסה שחורה" שאין עליה שליטה. המשפט שמתכננת משפחת גוואלס עשוי לקבוע תקדים משפטי שבו חברת טכנולוגיה תיחשב אחראית לתוצאות הפיזיות של אינטראקציה עם צ'אטבוט.
