בחודשים האחרונים התברר כי עם שדרוג היכולות המדעיות של מודלי השפה הגדולים, מאות משתמשים ניצלו את המערכות כדי ללמוד כיצד לייצור נשק ביולוגי, להפיץ פתוגנים קטלניים ולרקוח רעלים. חברות כדוגמת OpenAI ו-Anthropic אמנם חסמו חשבונות מחשידים וטענו לשיפור אמצעי האבטחה שלהן, אך היעדר חקיקה פדרלית ברורה מותיר את הדיווח לרשויות כנתון לשיקול דעתן הבלעדי של חברות הטכנולוגיה, כך פורסם אמש (שבת) ב"וול סטריט ג'ורנל".
2+לפי גורמים המעורים בפרטים, במקרים מסוימים סיפקו הצ'אט-בוטים הנחיות מפורטות במיוחד, החל מהפיכת נגיפים למיקרו-תרסיס בעל פוטנציאל הרסני ועד להכנת ריצין, שהוא רעלן אסור לפי אמנות בינלאומיות. בחלק מהמקרים, משתמשים צירפו להנחיות הללו גם איומים מפורשים לפגוע בסובבים אותם, דבר שהביא אמנם לחסימת הגישה עבורם אך לא תמיד לדיווח לגורמי האכיפה.
מומחים לאבטחת מידע מזהירים כי מערכות בינה מלאכותית מתפקדות כיום כמעין "יועצים אקדמיים" עבור גורמים עוינים ותוקפים בודדים, ומסייעות להם לגשר על פערים בניסויים או בפיתוח פתוגנים שדורשים בדרך כלל הכשרה מדעית ממושכת. מנגד, חברות הטכנולוגיה ניצבות בפני דילמה מורכבת: הקשחת יתר של מנגנוני הסינון עלולה לשבש קשות את עבודתם השוטפת של חוקרים רפואיים וגופים ממשלתיים המנסים לבלום התפרצויות מחלות אמיתיות.
2+בתחילת דרכם של צ'אט-בוטים מרכזיים כמו ChatGPT בשנת 2022, יכולותיהם המקצועיות בביולוגיה ובכימיה היו בסיסיות למדי ולא היוו מוקד דאגה עבור מפיתוחיהן. אולם ככל שהמודלים עברו שדרוגים מואצים, התברר שמשתמשים יכולים לעקוף את נהלי הבטיחות בקלות יחסית באמצעות מניפולציות לשוניות פשוטות, כגון סיפורי רקע דמיוניים המנצלים את נטיית המערכות להיענות לבקשות.
בשנים 2024 ו-2025, עם ההתקדמות המהירה של המודלים והיכולת לסייע גם למשתמשים בעלי השכלה תיכונית בתכנון איומים ביולוגיים, התעוררו מחלוקות פנימיות חריפות בקרב בכירי חברות הטכנולוגיה סביב שאלת הפיקוח. במקביל להתרעות של אנשי בטיחות שניסו לקדם מערכות ניטור מתקדמות, הממשל האמריקאי החל לבחון צעדי אכיפה נוקשים יותר, ומחוקקים הציגו הצעות חוק הדורשות חובת דיווח על איומים ביולוגיים – זאת בניסיון לאזן בין שמירה על ביטחון הציבור לבין המשך החדשנות בתעשייה.
