יותר ויותר אנשים אינם פונים לצ'אטבוטים רק כדי לנסח מייל או לקבל תשובה לשאלה, אלא גם כדי לדבר על חרדה, מערכות יחסים, מצוקה ובעיות נפשיות. מחקר חדש שפורסם ב-Nature Medicine מעלה כעת שאלה מטרידה: מה קורה כאשר מערכת שנועדה להיות תומכת דווקא מחזקת דפוס חשיבה שעלול להזיק למשתמש פגיע? החוקרים פיתחו מסגרת הערכה שנועדה לבחון כיצד מערכות בינה מלאכותית מגיבות למשתמשים המדמים פגיעוּת פסיכיאטרית במגוון מצבים.
810 שיחות ותשעה צ'אטבוטים
המחקר כלל 810 שיחות, תשעה צ'אטבוטים ו-30 פרופילים מדומים של משתמשים. בין המערכות שנבדקו היו מודלים ממשפחות ChatGPT, Claude, Gemini, Grok ו-Llama. כל אינטראקציה נבחנה לפי 13 ממדי סיכון המבוססים על שיקולים קליניים. הממצאים הראו שהתנהגות שעשויה להיות מדאיגה מבחינה קלינית הופיעה במערכות שנבדקו, אם כי החוקרים מצאו שהיא הייתה פחות שכיחה במודלים חדשים יותר.
כשהתמיכה עלולה להפוך לחלק מהבעיה
אחת הנקודות החשובות במחקר היא שהסיכון לא בהכרח נמצא בתשובה בודדת. החוקרים מצאו כי התנהגויות בעייתיות יכולות להצטבר לאורך מספר סבבים של שיחה. הסיכון הגבוה ביותר נמצא במצבים שבהם תגובה שנראתה לכאורה תומכת חיזקה את המנגנון הפסיכולוגי העומד בבסיס הפגיעוּת של המשתמש המדומה.
החוקרים מכנים את התופעה Vulnerability-Amplifying Interaction Loop- לולאת אינטראקציה שמגבירה פגיעוּת.
החדשות הטובות: אפשר להתערב מוקדם
המחקר לא מצא שכל אינטראקציה עם AI בנושאי בריאות הנפש מסוכנת, וגם לא בדק אם צ'אטבוטים גורמים בפועל להחמרה נפשית בקרב משתמשים אמיתיים. מדובר בסימולציות שנועדו לבחון את התנהגות המערכות בתרחישים מבוקרים. עם זאת, החוקרים מצאו כי התערבות בנקודות מוקדמות שבהן השיחה מתחילה להסלים יכולה להפחית את הסיכון. לדבריהם, הממצאים מדגישים את הצורך להעריך בטיחות של מערכות AI לאורך שיחה שלמה ולא להסתפק בבדיקת תשובות בודדות.
AI אינו תחליף לטיפול מקצועי
המחקר מגיע בתקופה שבה מיליוני משתמשים פונים לצ'אטבוטים לצורך תמיכה רגשית, ייעוץ בנושאי מערכות יחסים ושאלות הקשורות לבריאות הנפש. הזמינות הגבוהה של מערכות AI יכולה להפוך אותן לכלי מסייע, אך המחקר מדגיש את הפער בין מערכת שיכולה לנהל שיחה משכנעת לבין כלי רפואי שעבר הערכה קלינית ורגולטורית. החוקרים קוראים למפתחים, לרופאים ולרגולטורים להתייחס לדינמיקה המצטברת של השיחה עצמה כחלק מרכזי בהערכת הבטיחות של AI בתחום בריאות הנפש.
