עולם העסקים דן בשאלה האם הבינה המלאכותית עומדת להשתלט על כל המשרות, כאשר חברות רבות ממהרות להטמיע טכנולוגיות חדשות מתוך הנחה כזו, ואחרות עדיין מפקפקות. כדי לבדוק את האמת מאחורי ההבטחות הגדולות, חוקרים מאוניברסיטת קרנגי מלון תכננו ניסוי מסקרן שפורסם כמאמר מקדים ב-arXiv, ובו סוכני בינה מלאכותית קיבלו את המושכות של עסק מדומה. התוצאה, בלשון המעטה, לא הייתה מזהרת במיוחד.
במסגרת הניסוי, החוקרים הציבו סוכני בינה מלאכותית במגוון תפקידים ארגוניים הכוללים אנליסט פיננסי, מנהל פרויקטים ומהנדס תוכנה. לצורך יצירת הדמיה ריאליסטית, שומלצו גם עמיתים לעבודה במחלקות אחרות כמו משאבי אנוש שאליהם הסוכנים יכלו לפנות במידת הצורך. צוות הביקיני-אינטליג'נס קיבל מגוון רחב של משימות, החל ממעבר על קבצים לצורך ניתוח במסדי נתונים, ועד לביצוע סיורים וירטואליים במטרה לבחור מתחמים חדשים עבור העסק.
התוצאות המספריות הציגו נתונים ברורים. דגם Claude 3.5 Sonnet הוליך את הרשימה, אך הצליח להשלים 24 אחוזים בלבד מן המשימות שהוקצו לו. גם כאשר החשיבו ניסיונות שהושלמו באופן חלקי בלבד, שיעור ההצלחה שלו עמד על 34.4 אחוזים.
דגם Gemini 2.0 Flash הגיע למקום השני, כשהוא רושם אחוזי השלמה של 11.4 אחוזים בלבד. שום סוכן בינה מלאכותית אחר לא הצליח לחצות את רף עשרת האחוזים. מבחינת עלויות תפעול, Claude 3.5 Sonnet צבר הוצאה של 6.34 דולרים, לעומת Gemini 2.0 Flash שעלה 0.79 דולרים בלבד. היעילות לא הייתה מזהרת במיוחד, ויחס עלות־תועלת לא היוו נתון מרשים.
הניסוי הציף את המגבלות הקלאסיות והמוכרות של מערכות בינה מלאכותית. כפי שציינו החוקרים, הסוכנים הללו כשלו פעמים רבות בהבנת החלק המרומז של ההנחיות. לדוגמה, במצבים שבהם התבקשו לשמור את התוצאה בקובץ בעל סיומת ".docx", הם לא הסיקו מכך שיש להשתמש בפורמט של Microsoft Word.
כישורים חברתיים אינם מהווים צד חזק של המערכות, ומשימות רבות נותרו לא גמורות משום שהבינה המלאכותית לא הצליחה להתמודד עם האלמנט האנושי והחברתי. בנוסף, הניווט באינטרנט הפיל אותם בפח, במיוחד לנוכח הופעת חלונות קופצים. במצבים קשים שבהם נקלעו למבוי סתום, הסוכנים בחרו לעיתים לקצר דרכים ולדלג על החלק הקשה, והכריזו על עצמם כמנצחים.
ממצאים אלו מאשרים כי על אף שבינה מלאכותית מסוגלת לספק תוצאות מרשימות מאוד במשימות ספציפיות ומוגדרות היטב, המערכות עדיין נמצאות במרחק רב מעובדים דיגיטליים אוטונומיים ועצמאיים לחלוטין. בני האדם ממשיכים להישאר בתפקיד הבוס.
