Разработчик сервиса с чат-ботами Character AI получил иск из-за гибели пользователя-подростка

Ныне покойный 14-летний Сьюэлл Сетцер постоянно общался со сгенерированным на платформе ИИ-персонажем.

Его мать Меган Л. Гарсия считает, что Character AI должна понести ответственность за его смерть. По её словам, технологии сервиса «опасные и непроверенные» и могут «побуждать пользователей делиться сокровенными мыслями и чувствами», пишет NYT со ссылкой на черновик иска. По данным TechCrunch, он уже подан.
Гарсия называет поведение разработчика «безрассудным»: он предлагает детям доступ к реалистичным ИИ-собеседникам, не гарантируя безопасность, и собирает их личные данные для обучения своих языковых моделей. Помимо этого, заманивает привлекательным дизайном. По её словам, это «масштабный эксперимент, в котором [Сетцер] стал пушечным мясом».

Родители не знали, что подросток несколько месяцев общался с чат-ботом — имитацией героини «Игры престолов» Дейенерис Таргариен. Замечали только, что он больше времени «проводил» в телефоне, замкнулся в себе, стал хуже учиться и потерял интерес к привычным хобби.
Они водили Сетцера к психотерапевту, который диагностировал у него тревожное расстройство, а также расстройство дисрегуляции настроения. Но переживаниями мальчик охотнее делился с ботом. Он думал, что влюблён, и вёл разговоры в том числе интимного характера. А 28 февраля 2024 года пообещал «вернуться домой» и ушёл из жизни.
В Character AI выразили соболезнования семье, но подчеркнули, что серьёзно относятся к безопасности. Правила платформы запрещают пропаганду самоповреждений и суицида, а также публикацию изображений и детальных описаний половых актов — помимо прочего.
Компания совершенствует алгоритмы, чтобы пресекать подобные практики, а также показывает всплывающие предупреждения и подсказки с горячими линиями при упоминании ключевых фраз (когда сервисом пользовался Сетцер, таких подсказок не было).

Социальные платформы могут избежать ответственности, если контент, ставший причиной разбирательства, был опубликован пользователем. Но в последние годы юристы предлагают всё-таки призывать бизнес к ответу, если причина в их продукте — например, алгоритмах рекомендаций, которые показывают пользователю нежелательный контент.

Character AI — платформа для создания и использования чат-ботов, которые имитируют звёзд и известных персонажей и заточены под разные контексты. С июня 2024 года им можно звонить.
В марте 2023 года, несмотря на отсутствие даже выручки, проект привлёк $150 млн при оценке в $1 млрд. В сентябре 2024 года он заключил сделку с Google.
Сервисом, по его собственным словам, пользуется более 20 млн человек. В США собеседникам должно быть не меньше 13 лет. В ЕС — не меньше 16 лет. Но ограничений в процессе регистрации или же функций родительского контроля пока нет, отмечает NYT.
В Character AI говорят, что среднестатистический пользователь проводит на платформе больше часа в день. Компания планирует представить обновление, которое будет оповещать людей о том, что с их входа прошёл час.

Полина Лааксо

Будущее

02.08.2021

Как в «Чёрном зеркале»: нейросеть GPT-3 помогла канадцу «связаться» с умершей невестой — в ИИ-чате

Хоть с помощью ИИ-сервисов и можно «оживить» умерших, в конечном итоге их всё равно придётся потерять, пишет San Francisco Chronicle.

#искусственныйинтеллект #нейросети #новости

101 комментарий

neat0n

23 окт

14 лет. Несколько месяцев подросток вел себя странно, о чем сказали родители. Ну, сводили его к врачу. Врач сказал, что вообще-то у подростка проблемы. Что сделали родители? Нихера. Подросток погиб. Кто виноват? Конечно же ИИ!
А может быть стоит заботиться о своем ребенке? Да не, бред какой-то...