בית קפה שמחליף ספק פולים לא תולה על זה שלט. הכוס אותה כוס, הלוגו אותו לוגו וגם המחיר לא זז. את ההבדל מרגישים בשלוק הראשון, או רק אחרי שבוע, כשחצי כוס נשארת על השולחן.
כך עובדים היום כלי הבינה המלאכותית שרובכם משתמשים בהם. השם על המסך והחלון נשארים כמו שהם. מה שמתחלף, לעתים כל כמה חודשים, הוא המודל עצמו, החלק שבפועל מייצר את התשובות. לפעמים מודיעים על כך בהודעה מסודרת, ולא פעם זו שורה בדף עזרה.
כתבתי כאן בעבר על בדיקה של תשובה אחת. הפעם השאלה אחרת: איך יודעים שמה שעבד בחודש שעבר עדיין עובד היום? הדרך הפשוטה ביותר שאני מכיר היא השוואת לפני ואחרי על אותה משימה בדיוק.
מחרטט בביטחון: כך ה-AI עושה טעויות – ומפיל אותנו בפח
אין מודלים, יש רמות
לפי ההודעה של Google, החל מ-9 באוקטובר השתנו המודלים שזמינים באפליקציית Gemini למי שמשתמש בחשבון אישי. בחשבון חינמי שבדקתי, בורר המודלים כבר לא מציג שם של מודל: יש בו אפשרות ל-״אוטומטי״ ושלוש רמות, מהירה, מאוזנת ויסודית, ואין דרך לדעת מהמסך איזה מודל בדיוק עונה. מי שהתרגל לנסח באפליקציה מסמכים, לסכם פגישות או לעבור על טבלאות ממשיך לפתוח את אותה אפליקציה ולקבל תשובות. הן פשוט מגיעות ממודל אחר.
גוגל תגביל את השימוש החינמי במודלים שלה – כך זה ישפיע עליכם
זה לא קורה רק אצל Google: גם OpenAI ו-Anthropic מפרסמות לוחות זמנים להוצאת מודלים משימוש. מבחינתן זו תחזוקה שגרתית. מבחינתכם המשמעות פשוטה: תוצאה שאישרתם בחודש שעבר היא לא הבטחה לחודש הבא.
לפני: לשמור משימה אחת כמו שהיא
הנטייה הטבעית היא לשמור את התוצאה: את הסיכום, את המייל, את הטבלה. את מה שהוביל אליה שומרים הרבה פחות. בחרו משימה אחת שאתם עושים עם AI בכל שבוע ושמרו לה שלושה דברים: את ההנחיה המדויקת שכתבתם, את החומר שנתתם לכלי ואת התוצאה שאישרתם בסוף.
עדיף לבחור משימה שאתם יודעים לשפוט מהר: סיכום של פגישה שהייתם בה, תשובה ללקוח שאתם מכירים או טבלה שברור לכם מה אמור לצאת ממנה. כך תזהו שינוי גם בלי להיות מומחים.
אני אוהב את הבדיקה הזו וסקרן לגבי התוצאות שלה בכל פעם, כי היא כמעט לא עולה כלום: זו משימה שאתם עושים בכל מקרה, פעם אחת נוספת.
אחרי: אותה הנחייה, אותו חומר
כששומעים על שינוי, או כשמשהו בתוצאות פשוט נראה אחרת, מריצים את אותה הנחיה על אותו חומר ומניחים את שתי התוצאות זו ליד זו. לא מחפשים ניסוח זהה, כי גם אותו מודל בדיוק כנראה לא יכתוב פעמיים אותו דבר. בודקים את מה שחשוב לכם: האם העובדות נכונות, האם המבנה נשמר, האם משהו מהותי נשמט בדרך והאם עכשיו צריך לתקן יותר ממה שתיקנתם קודם.
ניתן דוגמה: אם בסיכום ששמרתם מופיעות שלוש החלטות ולצד כל אחת שם של אחראי, ובסיכום החדש יש רק שתיים והשלישית נבלעת בפסקה כללית, זה בדיוק ההבדל שלא רואים בלי להשוות. כל סיכום לחוד נראה סביר.
אם ההבדל קטן, ממשיכים. אם הוא גדול, זה הרגע להחליט: לעדכן את ההנחיה, לעבור לכלי אחר או לבדוק מנוי בתשלום. כשבודקים מנוי, כדאי לקרוא מה כתוב בתנאים שלו על החלפת מודלים ולא רק כמה הוא עולה. ייתכן גם שתגלו שהתוצאה החדשה דווקא טובה יותר, וזה מידע שווה לא פחות.
למה צריך לשים לב?
למנהלים: התחילו מבירור פשוט, באיזה כלי ובאיזה חשבון כל אחד בצוות עובד בפועל. חשבון אישי בחינם הוא בדיוק המקום שבו השינוי הזה קורה, והארגון בדרך כלל לא מקבל על השינוי שום הודעה, כי הוא בכלל לא צד לחשבון. אחרי שזה ידוע, בחרו משימת ביקורת אחת לכל תהליך שחשוב לעסק והחליטו מי עוקב אחרי ההודעות של הספק ומריץ אותה אחרי כל שינוי. מדובר ברבע שעה פעם בכמה שבועות.
לעובדים: ההנחיות והדוגמאות הטובות שלכם הן נכס. שווה לשמור אותן במסמך אחד, עם הערה קצרה על מה שעבד. כשהתוצאות פתאום נראות אחרת, אל תניחו מיד שהבעיה אצלכם ואל תתחילו לנסח מאפס. הריצו את הדוגמה השמורה. אם התוצאה השתנתה, ספרו למנהל, כי ייתכן שזה קרה לכל הצוות באותו שבוע.
חלק מההחלפות האלה ישפרו את מה שאתם מקבלים, וחלק לא. מה שתלוי בכם הוא שביום שזה יקרה תהיה לכם דוגמה שמורה להשוות אליה. בלי דוגמה כזו נשארת רק תחושה, כמו קפה שמשהו בו כבר לא אותו דבר. תחושה כזו קשה להסביר למנהל או לספק. עם דוגמה, יש לכם מה להראות.
נועם כהן הוא מייסד CritiqeIL, חברת ייעוץ והטמעת AI לארגונים בישראל.
