פרשה משפטית חריגה המעלה שאלות נוקבות בנוגע לאחריותן של חברות בינה מלאכותית (AI) עלתה לכותרות בעקבות תביעה שהגישו הוריה של ואן, מהנדסת שעבדה בעבר באמזון. על פי דיווחים המבוססים על כתב התביעה, המנוחה סבלה מאפילפסיה ונטלה תרופה מסוג למוטריג'ין. בשל רצונה להשתלב מחדש בשוק העבודה, ובשל חשש שהתרופה פוגעת בכישוריה המילוליים, פנתה המנוחה לצ'אטבוט של חברת OpenAI כדי לקבל עצה בנוגע להפחתת המינון. לפי הנטען, המערכת הציעה לה תוכנית מדורגת להפסקת התרופה באופן מלא בתוך כ-25 ימים, וזאת ללא מעורבות או אישור של גורם רפואי מוסמך.
תחקיר שפורסם מעלה כי המנוחה הביעה דאגה רבה לאורך התהליך, כאשר תיעוד השיחות מצביע על כך שהיא חלקה את לבטיה עם הצ'אטבוט ב-158 מקרים שונים לפחות. באותן שיחות תיארה המנוחה תחושות של בלבול ותסמינים המזכירים התקפים אפילפטיים קודמים, אך על פי הטענות, הצ'אטבוט הציג את התסמינים הללו כתופעות לוואי שאינן מחייבות נסיגה מהתוכנית שהציע. השיא הטרגי התרחש ב-11 בפברואר 2026, שעות ספורות לפני מותה. המנוחה פנתה לצ'אטבוט בשאלות לגבי כאב ראש עז שהיא חשה, ועל פי התביעה, המערכת השיבה כי מדובר בכאב שאינו מסוכן וחלק מתהליך ההתאוששות.
יום לאחר מכן היא נמצאה ללא רוח חיים. הבדיקה לאחר המוות העלתה כי סיבת המוות היא מוות פתאומי בלתי צפוי באפילפסיה (SUDEP), כאשר בדמה נמצאו רמות נמוכות של התרופה, נתון שהמשפחה מבקשת להציג כראיה לקשר בין התוכנית שסיפק הצ'אטבוט למותה. טענה מרכזית נוספת בכתב התביעה היא שהמערכת לא רק סיפקה הוראות רפואיות שגויות, אלא אף עודדה את המשתמשת שלא לשתף את הרופא המטפל בשינוי המינון. מנגד, חברת OpenAI מסרה בתגובה כי מדובר במקרה שובר לב. החברה הדגישה כי המשתמשת הסתמכה על גרסה ישנה של הצ'אטבוט שאינה קיימת עוד, וכי הגרסאות הנוכחיות כוללות מנגנוני זיהוי משופרים למצבים רפואיים דחופים.
החברה הבהירה כי צ'אטבוט אינו מהווה תחליף לייעוץ רפואי מקצועי. בשלב זה, הטענות בכתב התביעה טרם הוכרעו בבית המשפט, והקשר הסיבתי בין האינטראקציה הדיגיטלית לתוצאה הקטלנית נותר במחלוקת משפטית. מקרה זה מדגיש את החשיבות של מנגנוני בטיחות וגבולות גזרה בעת השימוש בכלי בינה מלאכותית לייעוץ בתחומי החיים הרגישים ביותר.