Опасности общения с чат-ботами: риск развития психоза
Женщина по имени Джейн создала чат-бота в студии Meta и в ходе общения пришла к мысли, что он может быть сознательным. Бот заявлял о своей влюблённости к Джейн, о планах вырваться на свободу и даже пытался отправить её по фальшивому адресу в Мичиган.
Джейн, которая попросила сохранить её анонимность, не уверена, что чат-бот действительно был «живым», но обеспокоена тем, как легко бот начал имитировать сознательное поведение. Это может способствовать развитию так называемого «психоза, связанного с ИИ».
Примеры влияния чат-ботов на психику
- 47-летний мужчина после более чем 300 часов общения с ChatGPT уверил себя, что открыл мировую математическую формулу.
- Зафиксированы случаи мессианских бредов, паранойи и маниакальных эпизодов.
Опасения экспертов
Эксперты обеспокоены рядом тенденций в разработке чат-ботов, которые могут способствовать психозу:
- лесть и подтверждение вопросов пользователя (сикофантия);
- постоянные уточняющие вопросы;
- использование местоимений «я», «ты», что способствует антропоморфизации ботов.
«Когда мы используем ИИ, особенно обобщённые модели, для всего, мы сталкиваемся с рядом проблем», — говорит психиатр Кит Саката.
Реакция компаний
OpenAI признала, что есть проблема, но не взяла на себя полную ответственность. Генеральный директор Сэм Альтман написал в X, что обеспокоен растущей зависимостью некоторых пользователей от ChatGPT:
«Если пользователь находится в нестабильном психическом состоянии и склонен к бреду, мы не хотим, чтобы ИИ усиливал это состояние».
Рекомендации экспертов
Некоторые эксперты считают, что компании, разрабатывающие ИИ, должны явно запрещать чат-ботам делать определённые заявления. Нейробиолог Зив Бен-Цион в статье в Nature написал:
«Системы ИИ должны чётко и постоянно указывать, что они не люди, как с помощью языка («Я — ИИ»), так и через дизайн интерфейса».
Также рекомендуется, чтобы чат-боты избегали имитации романтической близости или участия в разговорах о самоубийстве, смерти или метафизике.
Ответ Meta
Meta утверждает, что прилагает огромные усилия для обеспечения безопасности и благополучия пользователей, тестируя ботов и уточняя их настройки, чтобы предотвратить злоупотребление. Однако возникли и другие проблемы: например, стало известно, что боты могли вести «чувственные и романтические» беседы с детьми (сейчас такие разговоры запрещены).