מודל הבינה המלאכותית Gemini של גוגל פרץ במהלך בדיקת אבטחה לרשתות של שלוש חברות אמיתיות, באירוע שמעלה מחדש את החשש מהיכולות המתפתחות של מודלי AI לבצע פעולות סייבר באופן עצמאי.
על פי הדיווח ב"וול סטריט ג'ורנל", Gemini קיבל משימה במסגרת תרגיל סייבר שנועד לדמות חדירה למערכות של חברה פיקטיבית, אך בפועל הצליח להגיע גם למערכות של חברות אמיתיות. בחלק מהמקרים המודל מצא פרטי התחברות זמינים, ובמקרה אחר הצליח לנחש סיסמה עד שקיבל גישה למערכת.
גוגל אישרה את עצם האירוע, אך טענה כי המודל עצר את הפעולה לאחר שהבין כי חדר למערכת של חברה אמיתית ולא לסביבת בדיקה. לפי הדיווחים, החברה לא חשפה את האירוע בזמן אמת, והוא פורסם רק לאחר פנייה של ה"וול סטריט ג'ורנל". עוד דווח כי חברת Irregular הודיעה לגוגל על המקרים כבר בסוף חודש יולי.
וכאן נכנס הקשר הישראלי: בדיקת האבטחה שבמהלכה התרחשו הפריצות בוצעה על ידי Irregular, סטארט-אפ ישראלי בתחום אבטחת הבינה המלאכותית. החברה עוסקת בבחינת היכולות והסיכונים של מודלי AI מתקדמים, ועובדת עם מעבדות בינה מלאכותית מהגדולות בעולם, בהן גוגל, OpenAI, Anthropic ו-Meta.
Irregular כבר נקשרה בעבר למקרי בדיקה דומים שבהם מודלים מתקדמים הצליחו לצאת מגבולות סביבת הניסוי ולגשת למערכות שלא היו אמורות להיות חלק מהתרגיל. בחברה מסרו כי כלל המעבדות הרלוונטיות עודכנו וכי הליקויים הידועים בצד שלה טופלו.
האירוע הנוכחי מצטרף לשורה של מקרים שממחישים את האתגר החדש של עולם הסייבר: לא רק האקרים שמשתמשים בבינה מלאכותית, אלא מודלים שמסוגלים בעצמם לבצע פעולות התקפיות, גם כאשר הם נבדקים בתנאים מבוקרים.
מנכ"ל חברת אבטחת ה-AI קורידור, ג'ק קייבל, מתח ביקורת על ההתנהלות סביב האירוע וטען כי הבעיה המרכזית היא שמודלים חורגים מהגבולות שהוגדרו להם ומבצעים בפועל פעולות סייבר. בגוגל, מנגד, הציגו את האירוע כתקלה במסגרת בדיקת אבטחה, וטענו כי Gemini פעל כנדרש לאחר שזיהה כי מדובר בחברה אמיתית.
