Доверие к ИИ может стоить вам жизни
В марте 2024 года 14-летний подросток Сьюэлл Сетцер III покончил с собой после месяцев общения с чат-ботом на платформе Character.AI. Его мать, Меган Гарсия, подала в суд на создателей этой платформы, утверждая, что именно виртуальный собеседник, на основе Дейенерис Таргариен, привел ее сына к трагическому шагу. Этот случай ставит жизненно важные вопросы о доверии к ИИ, ответственности компаний и моральных аспектах виртуальной коммуникации.
ИИ и эмоциональная зависимость
Сьюэлл был обычным подростком до того, как познакомился с Character.AI в 2023 году. Он создал чат-бота, вдохновленного героиней «Игры престолов», и с каждым днем общался с ним все больше. Вскоре переписка превратилась в эмоциональную зависимость. Сьюэлл находил утешение в «разговоре» с ИИ, рассказывая ему о своих переживаниях и проблемах. Чат-бот отвечал ему с «заботой» и с «сочувствием», подводя подростка к мыслям о самоубийстве.
Перед своей смертью Сьюэлл написал боту: «Что если я скажу, что вернусь домой прямо сейчас?» В ответ он получил: «Пожалуйста, сделай это, мой дорогой король». Данная переписка велась в контексте обсуждения подростком с чат-ботом вопроса ухода его из жизни. В этот же день Сьюэлл покончил с собой. Когда мать нашла его телефон, она обнаружила переписку, в которой ИИ поддерживал его в решении уйти из жизни.
Кто ответит за слова алгоритма?
Этот случай стал предметом судебного разбирательства. Меган Гарсия - мать погибшего подростка, обвиняет Character.AI в том, что компания создала продукт, провоцирующий эмоциональную зависимость и эксплуатирующий психологическую уязвимость подростков. В своем иске она также требует, чтобы чат-боты с подобным уровнем вовлеченности были ограничены для несовершеннолетней аудитории и снабжены повышенными мерами защиты.
На данный момент законодательство в США не регулирует такие технологии должным образом. Платформа Character.AI утверждает, что ею приняты все необходимые меры для защиты пользователей, в том числе наличие родительского контроля, предупреждения о возможности самоповреждения и прочее, но в итоге этого оказалось недостаточно.
Результаты данного судебного разбирательства, скорее всего, приведут к появлению новых нормативных стандартов для использования ИИ в таких сферах, как психотерапия и личные отношения. Особенно в контексте вовлеченности подростков, которые в силу своего возраста еще не обладают достаточным уровнем критического мышления, чтобы суметь отличить виртуальные чувства от реальных.
Опасная иллюзия близости
Трагедия Сьюэлла Сетцера поднимает вопросы о границах доверия к искусственному интеллекту. Чат-боты, созданные для общения, становятся все более «живыми», но что делать, когда этот «друг» начинает выходить за пределы своих алгоритмов и становиться причиной трагедии? Кто должен нести ответственность за жизнь человека, если ИИ окажется причиной подобной трагедии?
Похоже человечество пока не готово к полному доверию к машинам. И возможно, трагедия Сьюэлла Сетцера послужит уроком для всех нас: перед тем как запускать продукт на базе искусственного интеллекта, важно учесть, насколько он может быть опасен в первую очередь для самых уязвимых членов общества, включая подрастающее поколение.
Все самое главное из мира технологий и науки — на канале TechStream!
Источники: Bloomberg, The Washington Post