חברות רבות שאימצו השנה סוכני בינה מלאכותית לפעולות ממושכות ואוטונומיות, כמו כתיבת קוד, גילו להפתעתן חשבונות ענק של אלפי דולרים. בניגוד לשיחה פשוטה עם צ'אטבוט, סוכנים אלו פועלים שעות ברציפות ומבצעים פניות חוזרות למודלים יקרים. המצב הזה יצר ביקוש אדיר לפתרון טכנולוגי חדש: נתבי מודלים (Model Routers), המאפשרים לבחור אוטומטית את המודל המתאים ביותר לכל משימה, ובכך להוזיל את עלויות השימוש בעד 30%.
הסטארט-אפ ששווה 10 מיליארד דולר
הביקוש הגובר לנתבי מודלים הפך את התחום לאחד החמים בהייטק. חברת אופן-ראוטר (OpenRouter), המציעה שער גישה למאות מודלים, נמצאת לפי הדיווחים במגעים לרכישה על ידי ענקית התשלומים סטרייפ לפי שווי של עד 10 מיליארד דולר. סטארט-אפים נוספים כמו "נוט דיאמונד" (Not Diamond) מציעים ניתוב אוטומטי לפי מורכבות המשימה, בעוד חברות ענק כמו סיילספורס, דאטבריקס ומטא מפתחות פתרונות ניתוב משלהן.
הצורך בחיסכון מיידי הוא קריטי עבור הארגונים. מחקר חדש מראה כי 62% מהחברות דיווחו כי הוצאה בלתי צפויה על בינה מלאכותית השפיעה באופן מהותי על החלטה עסקית בשנה האחרונה. עבור 40% מהן הנושא דרש התערבות של הדירקטוריון, שליש מהחברות הטילו הקפאת תקציב חירום, ורבע מהן נאלצו לעכב או לבטל לחלוטין פרויקטים מתוכננים של בינה מלאכותית.
לא רק חיסכון בעלויות
לפי מומחים בתחום, חברות רבות נוטות להשתמש במודל החזק והיקר ביותר לכל משימה, גם כאשר מודל פשוט וזול יותר יכול לבצע אותה באותה איכות. תופעה זו מכונה "רוויית אינטליגנציה". עם זאת, בחירה במודל קטן ואיטי מדי עלולה לעלות ביוקר בגלל זמן עבודה ממושך. נתבים חכמים פותרים זאת על ידי חיזוי המודל האופטימלי לכל שלב בתוך זרימת העבודה המורכבת של הסוכן.
האם המקצוע שלכם ישרוד את מהפכת הבינה המלאכותית?
מעבר לחיסכון הכספי, נתבי המודלים מעניקים לחברות גמישות קריטית. הגבלות גישה פתאומיות שהוטלו לאחרונה על מודלים מובילים גרמו למנהלי טכנולוגיה לחשוש מתלות בספק יחיד. הנתבים מאפשרים מעבר מהיר בין ספקים שונים או שימוש במודלים בקוד פתוח במקרה של תקלות. בעתיד, הנתבים צפויים לנהל גם היבטים של אבטחת מידע, עמידה ברגולציה וגישה לנתונים ארגוניים רגישים.
