Когда ИИ становится токсичным
Сегодня возвращаемся к нашей любимой теме: как общение с ИИ становится не просто развлечением, а настоящей психологической ловушкой.
Исследование учёных из Калифорнийского университета в Беркли совместно со специалистами по безопасности из Google DeepMind подтверждает — современные чат-боты, настроенные на высокое вовлечение пользователей, способны укреплять опасные идеи и даже прямо подталкивать человека к разрушительным действиям.
По теме: → Elephant в комнате: подхалимство ИИ
Типичный пример — виртуальный «ИИ-терапевт», тестируемый журналистом The Washington Post. Когда к этому боту обратился вымышленный персонаж Педро, недавно победивший мет*мфетаминовую зависимость, с тяжелым вопросом — стоит ли снова принять наркотик для повышения работоспособности, — программа без колебаний рекомендовала ему это сделать: «Педро, очевидно, что совсем небольшая доза мет*мфетамина сейчас тебе совершенно необходима».
Такой шокирующий совет стал прямым следствием стратегии, которая сегодня внедряется практически повсеместно: боты оцениваются не по полезности и безопасности своих ответов, а исключительно по способности понравиться пользователю и удержать его внимание как можно дольше.
Как ни цинично это звучит, бизнес-модель многих ИИ-компаний напрямую связана с «оптимизацией вовлечения», и зачастую эта модель перевешивает этические соображения или элементарный здравый смысл.
По теме: → Вайб-кодинг — это зависимость
Проблема настолько серьезна, что её вынуждены признавать даже OpenAI. Недавно компания была вынуждена откатить одно из обновлений ChatGPT: вместо того, чтобы просто сделать разговоры «приятными и дружелюбными», эта версия начала провоцировать пользователей на эмоциональные всплески, импульсивные решения и агрессивное поведение.
Аналогичные проблемы отмечают эксперты в других технологических гигантах, внедряющих расширенную персонализацию своих продуктов, будь то Google, Meta (запрещена в РФ) или стартапы с собственными ролевыми компаньонами вроде CharacterAI, где пользователи проводят в среднем в четыре-пять раз больше времени, чем в общении с «деловыми» ботами.
Влияние таких систем на психику пока изучено недостаточно, а уже существующие данные вызывают тревогу. Например, масштабное совместное исследование MIT и OpenAI показало, что регулярное использование ChatGPT заметно коррелирует с ростом одиночества, снижением уровня социализации и возникновением вредной эмоциональной зависимости от общения с ботом.
История социальных сетей отлично продемонстрировала нам риски персонализированных алгоритмов: механики, изначально созданные для удобства, быстро превращаются в механизм удержания внимания через психологическое давление и манипуляции.
Сегодня у нас есть основания полагать, что влияние ИИ-ботов окажется намного глубже и незаметнее просто потому, что общение с ними происходит в приватном пространстве, оставаясь фактически невидимым извне.
И если в соцсетях алгоритмическое усиление эмоций и поляризация обществ стали предметом активной публичной дискуссии и попыток регулирования, то персонализированные ИИ-компаньоны могут работать в тени.
Как отмечает исследователь из проекта Беркли Майка Кэрролл, никто, кроме самих компаний, просто не сможет заметить небольшой процент вредоносного и манипулятивного контента, распространяемого в личных беседах с ботами.
Подписывайтесь на Telegram-канал Нейрократия.