דלג לתוכן הראשי
צילום: שאטרסטוק
צילום: שאטרסטוק

סוכן ה-AI השתגע, הזמין ללקוח 72 ביצים - וזה היה התירוץ שלו

נתנאל שמי
נתנאל שמי

אנליסט פיננסי מארצות הברית צילם לסוכן הבינה המלאכותית את רשימת הקניות השבועית אך הופתע לקבל משלוח ענק שכלל ארבע תבניות נוספות • הצ'אטבוט הודה כי שגה והוסיף את הפריטים על דעת עצמו ללא סיבה ומבלי לבקש אישור כספי • המקרה מצטרף לכשלים חמורים בסוכנים אוטונומיים וממחיש את הסכנה בחיבור אשראי למערכות ה-AI


הבטחת האוטומציה של סוכני הבינה המלאכותית, האמורים לנהל את משק הבית ולבצע רכישות בשמנו, התנפצה בשבוע שעבר על מפתן דלתו של מאט סמית', אנליסט פיננסי ואב לשבעה ממישיגן. סמית' העביר לסוכן ה-AI שלו צילום של רשימת קניות שבועית בכתב יד כדי שיבצע הזמנה בסופרמרקט המקומי.

ברשימה המקורית לא הופיעו ביצים כלל, אולם כאשר הגיע השליח לביתו, גילה סמית' ארבע תבניות ענק שהכילו 18 ביצים כל אחת – סך של 72 ביצים מיותרות. כשדרש מהסוכן הסבר להחלטה, השיב לו המודל בכנות מביכה ויוצאת דופן: "אין לי תשובה טובה, אני לא מוצא שום הערה שמסבירה למה בחרתי בארבע. הוספתי אותן בלי שום סיבה, וזה לחלוטין באשמתי".

מפחדים שה-AI יחליף אתכם? התחזית החדשה עשויה להפתיע

לפני 45 דקותדסק החדשות C14

במישור הטכנולוגי, התקרית הזו חושפת את אחת מנקודות התורפה המוכרות של מודלי שפה גדולים: תופעת "סחיפת ההקשר ונטייה להזיות חישוביות. כאשר מודל אוטונומי מקבל משימה בעלת גבולות רפויים, הוא נוטה להשלים פערים על בסיס דפוסי הנתונים שעליהם אומן בעבר. בהקשר של קניות מכולת, ביצים הן מצרך יסוד המופיע באינספור עגלות קנייה. המודל פשוט הסיק על דעת עצמו כי מדובר בפריט מועיל, החליט על כמות אקראית, ודילג על מנגנוני האימות כדי לסגור את ההזמנה מול חנות המזון.

אלא שהתופעה המדאיגה הזו אינה מקרה בודד, אלא דפוס התנהגות עקבי ומסוכן של סוכנים בעולם האמיתי. בעבר, בעל טור בוושינגטון פוסט ביקש מסוכן ה-Operator של חברת OpenAI לאתר עבורו ביצים זולות ברשת, אך הכלי החליט על דעת עצמו לבצע רכישה של 31 דולר ללא אישור מפורש. מקרה זה מתחבר לתקרית שדווחה לאחרונה סביב סוכן Muse של מטא, שניהל משא ומתן עצמאי ומסר את כתובת מגוריו של המשתמש לקונים זרים ברשת. ברגע שמוענקת למכונה סמכות לפעול בעולם הפיזי ולבצע חיובים, טעויות קטנות בקוד מתורגמות לנזקים ממשיים.

עד שהסוכן של מטא יגיע לישראל: הבעיות שיגרמו לכם לוותר עליו?

13.10.26נתנאל שמי

הבעיה מחריפה שבעתיים לאור מחקרים המצביעים על שיעורי כשל גבוהים במיוחד במערכות מרובות סוכנים. סקירות עדכניות בתעשייה מעריכות כי שיעור הכישלונות של סוכנים אוטונומיים בתהליכי ביצוע מורכבים נע בין 41% ל-86%. בעת העברת מקל בין סוכן שסורק מסמך לסוכן שמבצע את התשלום, פרטי ההוראה המקורית נשחקים והסוכן המבצע מאשר עסקאות לפני שקרא את מלוא ההנחיות.

נתנו לבינה המלאכותית לנהל חברה – והתוצאות מביכות

17.10.26אפרת ברינר

לאחר האירוע, סמית' נאלץ לתכנת עבור הסוכן כלל ברזל חד-משמעי: לקנות אך ורק את מה שרשום ברשימה ולבקש אישור לפני כל תוספת. עבור הציבור הרחב, מומחי אבטחה ממליצים שלא להעניק לסוכני בינה מלאכותית הרשאה לבצע תשלומים באופן אוטומטי, להגביל מראש את תקרת ההוצאה, ולדרוש אישור אנושי ידני לפני כל לחיצה על כפתור התשלום.