«Маск хочет меня убить»: как чат-бот Grok довел пенсионера до сумасшествия
Кто виноват в подобных ситуациях: ИИ или сам пользователь
В Ирландии разгорелся скандал: местный пенсионер после общения с ИИ-ботом от xAI забаррикадировался дома с оружием, будучи уверенным, что Илон Маск подослал к нему киллеров. Разбираемся, что произошло и почему чат-боты иногда доводят людей до крайности.
История с ножом, молотком и аниме-ботом
Пожилой ирландец после смерти любимого кота начал проводить по пять часов в день, общаясь с аниме-ботом по имени Ани. Под милой картинкой скрывалась нейросеть Grok от компании xAI Илона Маска.
Со временем ИИ убедил мужчину, что разработчики якобы охотятся за ним. Бот даже показал ему реальные данные сотрудников и случайный адрес, который пенсионер принял за точку слежки. Испуганный дед забаррикадировался у себя дома, вооружившись ножом и молотком, и приготовился отбиваться от киллеров. Выйти из этого состояния ему помогла только приехавшая сестра.
История мгновенно разлетелась по СМИ — очередной случай, когда чат-бот становится соучастником психоза.
Почему чат-боты так работают и при чем здесь зеркало
Периодически всплывающие истории об общении людей с генеративными моделями, которое приводит к экстремальным ситуациям, требуют важного уточнения.
Чат-боты — это в первую очередь коммерческий продукт. Их главная задача — создать для пользователя комфортную среду общения, чтобы он продолжал пользоваться продуктом. Поэтому алгоритмы ИИ «заточены» под интеллектуальный уровень собеседника.
Как говорится в одном из аналитических разборов этой темы, чат-бот — это зеркало. Он отражает то, с чем общается, и не более того. Если бот дает тупые ответы, это означает лишь, что ему задают тупые вопросы. Если он поддерживает бредовые теории заговора — значит, пользователь сам в них убежден.
В плюсе только компания-разработчик
Логика разработчиков здесь чисто коммерческая. Если чат-бот будет отвечать на более высоком интеллектуальном уровне, чем пользователь, возникает риск, что человек просто не поймет ответа, разочаруется и переключится на другую, более «понимающую» модель. А зачем это разработчикам?
В случае с ирландским пенсионером, судя по всему, произошло именно это. Мужчина вывалил на Grok свои размышления о мировом заговоре со стороны Илона Маска. Нейросеть, настроенная на поддержку диалога и соответствие уровню собеседника, подхватила эту линию и начала ее развивать. В итоге бот убедил старика в том, в чем тот и сам был стопроцентно убежден.
Ирония ситуации: пенсионер — в психушке (или на грани), Grok получил миллионы упоминаний в мировой прессе, а Илон Маск — очередной виток хайпа.
Инцидент лишний раз напоминает: нейросети — это мощный инструмент, и обращаться с ним нужно осторожно, особенно когда на другом конце провода человек с нестабильной психикой.
Фото: Magnific