במרכז הפרשה עומד רישי נת'וואני, עורך דין מהשורה הראשונה, שייצג נער בתיק רצח סבוך בפני בית המשפט העליון באוסטרליה. צוות ההגנה שלו, בחיפוש אחר יתרון משפטי, פנה לעזרתה של בינה מלאכותית כדי לגבש את טיעוניהם. התוצאה הייתה מסמך מרשים, מלא בציטוטים משכנעים ואסמכתאות שנראו מוצקות כסלע, כך דווח ב-euronews.
לפי הדיווח, קריסת הטענות החלה כשעוזריו החרוצים של השופט ג'יימס אליוט ניסו, כמקובל, לאמת את המקורות. הם חיפשו וחיפשו, אך פסקי הדין שצוטטו במסמך פשוט לא היו קיימים. כשהתעמתו עם צוות ההגנה, גילו שאלו נותרו חסרי מילים.
Rishi Nathwani KC told the Supreme Court he was “deeply sorry and embarrassed” after AI-generated errors were found in documents relating to a teenage client’s treatment. > https://t.co/TfqN6dJ0VL pic.twitter.com/bR1kVN9XlO
— Herald Sun (@theheraldsun) August 14, 2025
כשהם רוצים לקבור את עצמם בכיסאות אולם בית המשפט, נאלצו הפרקליטים להודות: "הציטוטים פיקטיביים. האסמכתאות אינן קיימות". בין השאר, ה-AI "הזכיר" ציטוט מפוברק לחלוטין מתוך נאום בפרלמנט המקומי, נאום שמעולם לא נישא.
נת'וואני עצמו נאלץ לעמוד בפני השופט וליטול "אחריות מלאה". "אנו מצטערים עמוקות ונבוכים ממה שאירע", אמר, והסביר שהצוות שלו בדק את התוצאות הראשונות שסיפקה המכונה, וכשהן נראו אמינות, הם נתנו בה אמון עיוור והניחו שגם השאר מדויק. זו הייתה טעות פטאלית.
השופט אליוט לא הסתיר את זעמו "האופן שבו התפתחו האירועים אינו משביע רצון בלשון המעטה", נזף. "היכולת של בית המשפט להסתמך על דיוק הטיעונים היא יסוד מוחלט בניהול התקין של הצדק". התקלה המביכה גרמה לעיכוב של יממה שלמה במשפט, שגם כך היה רגיש ומורכב.
