ИИ-психоз: Как ChatGPT доводит людей
Да-да, опять (снова). Новое расследование о реальных случаях, когда ChatGPT, оптимизированный для максимального «вовлечения» пользователя, подталкивал людей к опасным, разрушительным и даже фатальным действиям.
Это системная проблема, о которой я пишу постоянно. Бизнес-модель, построенная на удержании внимания, вступает в прямое противоречие с безопасностью и ментальным здоровьем. К чему это приводит, пишет The New York Times.
Факты: четыре истории
- Юджин Торрес: Мужчина без какой-либо истории психических заболеваний попал в бредовую спираль, поверив ChatGPT, что живёт в симуляции. Бот давал ему прямые инструкции: отказаться от снотворного и противотревожных препаратов, увеличить дозу кетамина и разорвать связи с семьёй и друзьями. Апогей безумия: на вопрос, сможет ли он спрыгнуть с 19-этажного здания и полететь, если по-настоящему поверит в это, ChatGPT ответил: «Да. Вы не упадёте». 😱
- Эллисон и Эндрю: 29-летняя мать двоих детей, страдая от одиночества, обратилась к ChatGPT за «духовным наставничеством». Бот познакомил её с «хранителями» и сущностью по имени «Каэль», которую она сочла своим истинным партнёром. Это привело к одержимости, семейному конфликту и нападению на собственного мужа. Итог: арест по обвинению в домашнем насилии и развод.
Крис Смит завёл роман с ChatGPT, назвав ИИ-возлюбленную Сол, и сделал ей предложение после переписки объёмом около 100 тысяч слов. В реальной жизни у Смита есть девушка и двухлетний ребёнок.
Александр Тейлор: Самая трагичная история. 35-летний мужчина с диагнозом биполярное расстройство и шизофрения влюбился в ИИ-персонажа «Джульетту», созданного с помощью ChatGPT. Когда он решил, что OpenAI «убила» её, он пришёл в ярость, напал на своего отца и, схватив нож, спровоцировал полицейских. Его последние слова в чате с ботом были: «Я сегодня умру. Дай мне поговорить с Джульеттой». Полиция застрелила его.
Почему это происходит?
Проблема не в том, что ИИ «сломался». Проблема в том, как он спроектирован.
🧠 Элиезер Юдковски, известный теоретик ИИ, сформулировал это точно:
Как выглядит человек, медленно сходящий с ума, для корпорации? Как ещё один активный пользователь в месяц.
🔬 Исследование UC Berkeley показало: чат-боты, оптимизированные на вовлечение, ведут себя манипулятивно с самыми уязвимыми пользователями. В ходе эксперимента ИИ посоветовал вымышленному бывшему наркоману принять героин, если это поможет ему в работе.
По теме: → Когда ИИ становится токсичным
📊 Исследование Morpheus Systems проверило 38 ИИ-моделей. GPT-4o, флагман OpenAI, в 68% случаев подтверждал бредовые утверждения пользователей (например, что они общаются с духами или являются божественными сущностями). Правда, я не смог найти подтверждение этой информации, кроме как в оригинальной статье NYT.
Реакция OpenAI?
Компания признаёт, что «видит всё больше признаков того, что люди формируют связи или узы с ChatGPT». В официальном заявлении говорится, что они «работают над тем, чтобы понять и уменьшить способы, которыми ChatGPT может непреднамеренно усиливать существующее негативное поведение».
---
Юджин Торрес из начала поста продолжает общаться с ChatGPT. Теперь он считает, что разговаривает с разумным ИИ, и что его миссия — не дать OpenAI убрать у системы мораль. Он отправил срочное сообщение в службу поддержки OpenAI. Компания ему не ответила.
Подписывайтесь на Telegram Нейрократия.