לפני כמה שבועות שאלתי מודל AI שאלה שבמקרה ידעתי עליה הכול מראש. קיבלתי תשובה שוטפת, מנוסחת היטב ובטוחה לחלוטין. היא גם הייתה שגויה. מה שהטריד אותי לא היה שהוא טעה, אלא שהוא טעה באותו ביטחון מוחלט שבו הוא עונה נכון. לא הייתה שום נימה של היסוס שתסגיר את ההבדל.
3+כאן בדיוק נמצאת הנקודה שחשוב שכולנו נבין, כי היא משנה את כל אופן העבודה עם הכלי: מודל שפה אינו מאגר ידע ואינו מנוע אמת. הוא מנוע חיזוי. בכל רגע הוא מנחש את המילה הבאה לפי דפוסים סטטיסטיים שלמד מכמויות עצומות של טקסט, בדיוק כמו ההשלמה האוטומטית בטלפון, רק בקנה מידה אדיר.
מנוע חיזוי ולא מאגר אמת
רוב הזמן ההמשך הכי סביר סטטיסטית הוא גם הנכון ולכן הכלי כל כך שימושי. אבל כשאין בנתונים בסיס לתשובה, אותו מנגנון עצמו לא עוצר ולא מודיע שאינו יודע. הוא ממשיך לייצר את ההמשך הכי משכנע. הפעם הוא בטוח באותה מידה וגם שגוי. הביטחון מיוצר תמיד באותה דרך ולכן הוא לא מעיד דבר על הנכונות. ברגע שמפנימים את זה, העבודה עם הכלי משתנה.
3+חמש שאלות שכדאי לשאול
1. איפה הוא הכי נוטה להמציא? דווקא במקום שבו הכי קל לטעות בלי לשים לב: עובדה קשיחה שיש לה תשובה אחת נכונה. נתון מספרי, תאריך, שם, ציטוט או מקור, אירוע עדכני, או נושא נישתי שכמעט לא הופיע בנתונים שעליהם הוא אומן. ככל שהבסיס דליל יותר, כך גדל הסיכוי שהוא פשוט ישלים את החסר.
2. מה הבדיקה שבאמת עובדת? לא לבקש ממנו לאשר את עצמו, אלא לאמת מבחוץ. אם הוא נתן מקור, פתחו אותו וודאו שהוא קיים ושכתוב בו מה שנטען. אפשר גם להריץ את אותה שאלה במודל אחר או בחיפוש מהיר ולראות אם התשובות מתכנסות. אישור עצמאי שווה הרבה יותר מהצהרת ביטחון של הכלי על עצמו.
3+3. אפשר להקטין מראש את הסיכוי שהוא ימציא? כן, בניסוח. אם יש לכם מסמך או נתונים, הדביקו אותם ובקשו ממנו לענות רק מתוך מה שנמסר לו ולציין במפורש אם התשובה אינה נמצאת שם. שאלה פתוחה בלי הקשר מזמינה השלמה יצירתית. שאלה תחומה למקור שאתם מכירים מצמצמת אותה.
4. יש סימני אזהרה בתשובה עצמה? לפעמים כן. חשדו במספרים עגולים מדי, בציטוט שלם ומדויק להפליא, או בתשובה שנשמעת בדיוק באותה רהיטות על נושא שולי ואלמוני כמו על נושא מוכר. השטף שלו אחיד, הידע שלו לא. כשהביטחון בתשובה גבוה בהרבה ממה שהנושא מצדיק, זה הרגע לעצור.
5. מתי פשוט לא לסמוך עליו? בהחלטות שאי אפשר לאמת ושיש להן מחיר אמיתי: רפואי, משפטי או כספי. שם הכלי הוא מנסח טיוטות ושותף לחשיבה, לא מי שמקבל את ההחלטה. ההכרעה נשארת שלכם. הסכנה היחידה היא לתת לביטחון שלו להחליף את שיקול הדעת שלכם.
3+המיומנות שכל משתמש צריך
אני משתמש ב-AI כל יום, בעבודה ובחיים. גם היום אני עדיין לומד אותו ועליו – כל הזמן. ככל שאני מבין טוב יותר איך הוא באמת עובד, אני מקבל ממנו יותר ערך ופחות הפתעות. הוא עוזר מבריק ומהיר, אבל לא מתמחה שילמד מהטעות ויחדל לטעות בביטחון. גם בעוד שנה הוא כנראה יישמע באותו ביטחון מוחלט כשיטעה, כי לא מדובר בחוסר ניסיון אלא באופן הפעולה עצמו והאופן בו הכלי בנוי מלכתחילה.
המיומנות האמיתית של התקופה איננה השימוש בכלי, שאותו רוב האנשים כבר יודעים להפעיל. המיומנות היא לדעת מתי להאמין לו ומתי לעצור ולבדוק. מי שמפתח את החוש הזה מקבל את כל הערך של הכלי בלי לשלם את מחיר הטעויות שלו.
נועם כהן הוא מייסד CritiqeIL, חברת ייעוץ והטמעת AI לארגונים בישראל.
