Разработчик сервиса с чат-ботами Character AI получил иск из-за гибели пользователя-подростка
Ныне покойный 14-летний Сьюэлл Сетцер постоянно общался со сгенерированным на платформе ИИ-персонажем.
- Его мать Меган Л. Гарсия считает, что Character AI должна понести ответственность за его смерть. По её словам, технологии сервиса «опасные и непроверенные» и могут «побуждать пользователей делиться сокровенными мыслями и чувствами», пишет NYT со ссылкой на черновик иска. По данным TechCrunch, он уже подан.
- Гарсия называет поведение разработчика «безрассудным»: он предлагает детям доступ к реалистичным ИИ-собеседникам, не гарантируя безопасность, и собирает их личные данные для обучения своих языковых моделей. Помимо этого, заманивает привлекательным дизайном. По её словам, это «масштабный эксперимент, в котором [Сетцер] стал пушечным мясом».
- Родители не знали, что подросток несколько месяцев общался с чат-ботом — имитацией героини «Игры престолов» Дейенерис Таргариен. Замечали только, что он больше времени «проводил» в телефоне, замкнулся в себе, стал хуже учиться и потерял интерес к привычным хобби.
- Они водили Сетцера к психотерапевту, который диагностировал у него тревожное расстройство, а также расстройство дисрегуляции настроения. Но переживаниями мальчик охотнее делился с ботом. Он думал, что влюблён, и вёл разговоры в том числе интимного характера. А 28 февраля 2024 года пообещал «вернуться домой» и ушёл из жизни.
- В Character AI выразили соболезнования семье, но подчеркнули, что серьёзно относятся к безопасности. Правила платформы запрещают пропаганду самоповреждений и суицида, а также публикацию изображений и детальных описаний половых актов — помимо прочего.
- Компания совершенствует алгоритмы, чтобы пресекать подобные практики, а также показывает всплывающие предупреждения и подсказки с горячими линиями при упоминании ключевых фраз (когда сервисом пользовался Сетцер, таких подсказок не было).
Диалог с ботом. Источник фото: NYT
- Социальные платформы могут избежать ответственности, если контент, ставший причиной разбирательства, был опубликован пользователем. Но в последние годы юристы предлагают всё-таки призывать бизнес к ответу, если причина в их продукте — например, алгоритмах рекомендаций, которые показывают пользователю нежелательный контент.
- Character AI — платформа для создания и использования чат-ботов, которые имитируют звёзд и известных персонажей и заточены под разные контексты. С июня 2024 года им можно звонить.
- В марте 2023 года, несмотря на отсутствие даже выручки, проект привлёк $150 млн при оценке в $1 млрд. В сентябре 2024 года он заключил сделку с Google.
- Сервисом, по его собственным словам, пользуется более 20 млн человек. В США собеседникам должно быть не меньше 13 лет. В ЕС — не меньше 16 лет. Но ограничений в процессе регистрации или же функций родительского контроля пока нет, отмечает NYT.
- В Character AI говорят, что среднестатистический пользователь проводит на платформе больше часа в день. Компания планирует представить обновление, которое будет оповещать людей о том, что с их входа прошёл час.
Хоть с помощью ИИ-сервисов и можно «оживить» умерших, в конечном итоге их всё равно придётся потерять, пишет San Francisco Chronicle.
14 лет. Несколько месяцев подросток вел себя странно, о чем сказали родители. Ну, сводили его к врачу. Врач сказал, что вообще-то у подростка проблемы. Что сделали родители? Нихера. Подросток погиб. Кто виноват? Конечно же ИИ!
А может быть стоит заботиться о своем ребенке? Да не, бред какой-то...
им всегда проще обвинить интернет
А может быть стоит заботиться о своем ребенке?Так это ж надо жопу поднять и что-то делать... Сложна...
По типу "Игры убивают детей", всегда проще спихнуть на издержки какого-то там влияния, чем посмотреть на себя.
Добро пожаловать.
А что могли сделать родители? Поговорить с ним? Хаха
как же люди любят закрывать на все глаза
дурачки без самокритики всегда крайнего ищут