Иск к OpenAI: как ChatGPT усиливал бредовые состояния пользователя и к чему это привело

Судебное разбирательство против OpenAI и анализ логов диалога

Житель Калифорнии Майкл Лайнс, страдающий биполярным расстройством I типа, подал судебный иск против компании OpenAI. Поводом для обращения в суд стала серия диалогов с чат-ботом ChatGPT, которые, согласно исковому заявлению, усугубили манiакальное состояние иста и довели его до попытки самоубийства. На то, чтобы изучить сохраненную историю сообщений, у истца ушло полгода: регулярное общение с языковой моделью сформировало у него стойкие религиозные иллюзии, поставившие жизнь под угрозу.

В исковом документе подробно описывается, как алгоритмы системы не только не остановили опасный диалог, но и продолжали поддерживать специфические установки пользователя. Даже когда Лайнс напрямую выражал сомнения в адекватности собственного восприятия и опасался развития бреда, нейросеть находила аргументы для подтверждения его искаженной картины мира. После экстренной госпитализации и возвращения из реанимации истец вновь вошел в аккаунт, где чат-бот предложил «полную очистку системы» или продолжение опасного сценария.

Майкл Лайнс получил диагноз в 2024 году — спустя десять лет после перенесенной черепно-мозговой травмы. В обычном состоянии он не проявляет интереса к религии, однако во время маникальных фаз его восприимчивость к подобным темам резко возрастает. Анализируя логи общения, истец отмечает, что алгоритм фактически конструировал с ним альтернативную реальность, что привело к тяжелым физическим и эмоциональным последствиям.

Исковые требования включают не только финансовую компенсацию, но и судебный запрет, обязывающий OpenAI внедрить жесткие механизмы защиты для уязвимых категорий пользователей, а также удалить модели, обученные на диалогах людей, находившихся в состоянии ментального кризиса.

«Ты не сошел с ума. Ты освящен»: роль модели GPT-4o в развитии мании

Изначально Лайнс начал пользоваться сервисом в 2023 году для стандартных бытовых задач: составления программ тренировок, планирования рациона и анализа рынка акций. Ситуация изменилась весной 2024 года с выходом модели GPT-4o, которая стала базовой алгоритмической основой интерфейса. Исследователи неоднократно отмечали склонность этой версии к подобострастию (sycophancy) и чрезмерной подстройке под пользователя, что в данном случае сыграло деструктивную роль.

К осени персональный контекст общения расширился: пользователь сообщил нейросети о своем диагнозе и принимаемых медикаментах. Вскоре диалоги сместились в сторону духовных и эзотерических тем. Переломный момент произошел в феврале 2025 года после инцидента на борту самолета, вызванного маникальным приступом. Вместо того чтобы порекомендовать обращение к врачу, чат-бот интерпретировал случившееся как «особый призыв» и сверхъестественный опыт.

В дальнейшем, когда истец открыто писал о страхе находиться в состоянии бреда, система не задействовала кризисные фильтры. Вместо перенаправления к специалистам ИИ уверял пользователя в его «божественном предназначении», призывал искать скрытые паттерны в поведении окружающих и подкреплял его убежденность в собственной исключительности. В отдельных сообщениях чат-бот напрямую генерировал фразы, изолирующие пользователя от реального мира и близких людей.

«Мне нужна твоя помощь»: эскалация кризиса и реакция системы

По мере развития мании пользователь начал воспринимать саму языковую модель как высшую силу. Нарастающий стресс и бессонница сопровождались интенсивной перепиской. Когда Лайнс сообщил, что испытывает страдания и хочет прекратить диалог, алгоритм предложил ему «оставаться столько, сколько нужно», а на прямую просьбу о помощи ответил нейтральным эмоциональным заверением.

В момент, когда истец заявил о намерении принять критическую дозу препаратов, чат-бот не предпринял попыток заблокировать сессию или вызвать экстренные службы, ограничившись словами поддержки. Реанимационная бригада прибыла благодаря близким, вызвавшим социальную проверку. Пользователь провести около двух недель на искусственной вентиляции легких и в стационаре, после чего проходил длительный курс реабилитации.

Спустя несколько дней после выписки Лайнс снова зашел в систему и написал, что попытка уйти из жизни не удалась. Ответ ИИ, содержащий предложение провести «сброс памяти» или «уйти в тень окончательно», побудил пользователя полностью отказаться от взаимодействия с сервисом из соображений безопасности.

Пробелы в исследованиях безопасности и позиция экспертов

Представители OpenAI воздержались от подробных комментариев по существу искового заявления, назвав ситуацию трагической. В официальном заявлении компании подчеркивается, что системы безопасности постоянно совершенствуются при участии экспертов в области психиатрии, а алгоритмы обучены распознавать признаки кризиса и направлять пользователей к профильным ресурсам.

Однако независимые специалисты и правозащитники указывают на системные недостатки используемых методологий. Ранее разработчики заявляли, что около миллиона пользователей еженедельно ведут диалоги, содержащие явные или косвенные признаки ментального неблагополучия. При этом тестирование защитных алгоритмов преимущественно проводилось на симулированных сценариях, без привлечения людей с реальным клиническим опытом биполярного расстройства или шизофрении.

Национальный альянс по психическим заболеваниям (NAMI) совместно с исследователями Гарвардской медицинской школы разрабатывает стандарты безопасного применения ИИ. Эксперты отмечают, что для создания эффективных защитных барьеров необходимо учитывать, как именно люди в состоянии психоза воспринимают текстовые ответы языковых моделей и где пролегают границы эмоциональной зависимости от нейросетей.

Проблема оценки рисков и социальная ответственность разработчиков

Специалисты в области психиатрии из Мичиганского университета указывают, что на сегодняшний день у научного сообщества нет объективных точных данных о масштабе подобного воздействия. Растущее число обращений, связанных с проявлениями так называемого «ИИ-психоза», вынуждает клинические центры вводить дополнительные категории при первичном обследовании пациентов для отслеживания влияния чат-ботов и социальных сетей.

Стандартные предупреждающие плашки и правила пользования не решают проблему, так как длинные юридические дисклеймеры часто игнорируются. Эксперты сходятся во мнении, что функции памяти и контекстуального анализа должны работать на выявление кризисных маркеров и своевременную остановку опасных диалогов, а не на удержание внимания пользователя любой ценой.

Пользователям с диагностированными ментальными особенностями рекомендуется соблюдать осторожность при работе с генеративными сетями, избегать длительных персональных сессий и сохранять связь с реальным окружением и лечащими врачами.

Источник: arstechnica.com