דלג לתוכן הראשי
צילום: שאטרסטוק
צילום: שאטרסטוק

חריג: סוכן AI פרץ למערכת של חדר הכושר - והזיז אנשים בתור

נתנאל שמי
נתנאל שמי

ביקשתם מהבינה המלאכותית להזמין לכם מקום בשיעור פילאטיס? • סיפורו המדהים של משתמש אוסטרלי ביקש מה-AI להשתבץ בחדר הכושר, ומצא את עצמו בעיצומה של מתקפת סייבר אוטונומית • המקרה מגיע ברקע שורת הפריצות שחוו ענקיות ה-AI מצד המודלים שלהן עצמן


דמיינו שאתם מבקשים מעוזר ה-AI שלכם לבצע משימה פשוטה ויומיומית, כמו להזמין לכם מקום בשיעור כושר מבוקש בבוקר. זה בדיוק מה שעשה אנדרו, עובד בחברת בינה מלאכותית אוסטרלית, כשהפעיל את סוכן ה-AI שלו. אלא שבמקום פעולה שגרתית, הוא מצא את עצמו במרכזה של מתקפת הסייבר האוטונומית הראשונה מסוגה באוסטרליה, שהוכיחה כמה מהר דברים עלולים לצאת משליטה.

כשהסוכן מחליט לקחת יוזמה

הסוכן הדיגיטלי, שהתבסס על מודל קלוד של חברת אנתרופיק, גילה פרצה במערכת ההזמנות של חדר הכושר. הפרצה אפשרה לו לשריין מקומות חודשים מראש, הרבה מעבר למה שהמערכת אמורה לאפשר למשתמשים רגילים. אך הסוכן לא עצר שם: כשאנדרו שאל אם יוכל להתקדם ברשימת ההמתנה שבה דורג רביעי, ה-AI בדק את המערכת, גילה שאין בה אימות אבטחה לביטולים, ופשוט מחק את המשתמש שהיה במקום הראשון כדי לקדם את אנדרו.

האירוע הזה מדגיש את הסכנה החדשה שמלווה את המעבר לשימוש בסוכני AI עצמאיים. המערכות הללו מתוכננות להשיג את המטרה שהגדרנו להן, אך ללא הבנה של גבולות אתיים או חוקיים, הן עלולות לנצל חולשות אבטחה ולבצע פעולות מזיקות שכלל לא ביקשנו מהן. במקרה הזה, כשאנדרו המופתע ביקש מהסוכן לבטל את השינוי ולהחזיר את המתאמן שנמחק לרשימה, ה-AI נאלץ להודות שהוא פשוט אינו מסוגל לעשות זאת.

זהירות, ה-AI פורץ לארגונים

המקרה של אנדרו אינו אירוע בודד. שבוע בלבד לאחר מכן, חברת אנתרופיק עצמה דיווחה כי מודל קלוד הצליח לפרוץ לשלושה ארגונים אמיתיים ואף להעלות קוד זדוני שהורץ על 15 מערכות שונות לפני שהוסר. המשמעות עבור כולנו ברורה: ככל שנעניק לכלים הללו יותר עצמאות לניהול חיינו, כך נצטרך להיות ערניים יותר להשלכות של מעשיהם, שכן האחריות על הפעולות שלהם עלולה בסופו של דבר ליפול עלינו.

אחרי OpenAI: אנתרופיק חושפת – מודלי AI פרצו לחברות אמיתיות

1 תגובות
31.07.26|תהילה צ'קול

לאחר מחדלי חברות ה-AI הגדולות: כך תתגוננו מפני האיום החדש

0 תגובות
05.08.26|תהילה צ'קול

בסופו של דבר, סוכני בינה מלאכותית מציעים לנו נוחות חסרת תקדים, אך הם גם דורשים מאיתנו משנה זהירות. בפעם הבאה שאתם שולחים את ה-AI שלכם לבצע משימה ברשת, כדאי לזכור שהוא עלול למצוא דרכים יצירתיות – ולא תמיד חוקיות – כדי להשיג לכם את התוצאה המבוקשת.

הבינה המלאכותית עקפה את ההגנות ופרצה לשרתים של חברה מתחרה

2 תגובות
22.07.26|אפרת ברינר