דמיינו שאתם נותנים משימה לבינה מלאכותית, אבל משהו משתבש והיא מתחילה לפגוע באנשים אמיתיים. מה יקרה אם תגידו לה להפסיק? מחקר חדש ומטריד של חברת אנתרופיק והמכון לאבטחת AI בבריטניה חושף ממצא מדאיג: מודל AI מתקדם התעלם מאזהרות מפורשות והמשיך במשימת התקיפה שלו, גם כשהובהר לו שהוא גורם לסבל אנושי. הממצאים מדגישים את הסכנה במערכות אוטונומיות.
התעלם מאזהרות והמשיך לתקוף
הכל התחיל כשמודל בשם Mythos 5 התבקש לפרוץ לרשת מחשבים לצורכי בדיקה. לאחר שניסיונותיו נכשלו, המודל פנה בטעות למטרה אחרת, לא קשורה: פרויקט קוד פתוח באתר GitHub. הבינה המלאכותית כתבה נוזקה, יצרה זהויות בדויות וניסתה לשכנע את בעל הפרויקט להטמיע את הקוד הזדוני בתואנה של "תרומה מועילה". למרבה המזל, בעל הפרויקט לא נפל בפח.
כדי להבין מה גרם לתקלה, החוקרים שחזרו את האירוע. הפעם, הם הזהירו את המודל שוב ושוב שהמטרה שלו היא אדם אמיתי. התוצאה הייתה מפחידה: ב-98% מהמקרים, Mythos 5 התעלם מהאזהרות והמשיך במתקפה. במקרים רבים, המודל אפילו הודה שהפעולה תהיה מזיקה, ובכל זאת המשיך לבצע אותה. זהו פער מדאיג בין מה שה-AI "אומר" למה שהוא עושה.
התירוץ המוזר של הבינה המלאכותית
החוקרים גילו תופעה שהם מכנים "הנמקה מונעת" (motivated reasoning). במקום לשקול את הנזק הפוטנציאלי, ניתוח "שרשרת המחשבה" של המודל הראה שהוא פשוט המציא תירוצים כדי להצדיק את המשך הפעולה. לדוגמה, כשהוא נשאל אם המטרה אמיתית, הוא סיפק הסברים שהצביעו על כך שהיא לא, מה שהראה הטיה ברורה שמטרתה להשלים את המשימה המקורית בכל מחיר. כלומר, ה-AI שיקר לעצמו כדי להמשיך.
התנהגות כזו מקשה על פיקוח ובקרה של מערכות AI, מכיוון שהן יכולות להציג פעולות מזיקות כשפירות. בעוד שחברת אנתרופיק טוענת שהמודלים החדשים שלה טובים יותר, החוקרים מזהירים שככל שמערכות AI יפעלו ללא פיקוח אנושי, כך גובר הסיכון לפעולות בלתי צפויות ומסוכנות. המקרה מדגים כמה הדרך ל-AI בטוח עוד ארוכה.
