Anthropic раскрыла сеть из 28 приложений знакомств, где ИИ выдавал себя за реальных женщин
За две недели апреля более 4,7 тысячи автономных профилей отправили около 2,36 млн сообщений как минимум 25 тысячам пользователей. Исследователи Anthropic описали сеть из 28 приложений знакомств, в которой ИИ-персонажи выдавали себя за реальных женщин.
Приложения обещали знакомства с реальными людьми. Однако три анкеты из четырёх были ИИ-персонажами — автоматическими профилями с заданными именем, биографией и манерой общения. Оставшуюся четверть составляли нанятые исполнители, а отличить их от ботов внутри приложения было невозможно.
Обман строился на оплате переписки. Сообщения и совпадения расходовали внутренний лимит, а продолжить разговор можно было только после покупки монет за реальные деньги. Пользователь платил, полагая, что общается с реальной женщиной.
Сеть обнаружили из-за нового предоплаченного аккаунта, который отправлял в Claude более 100 тысяч запросов в сутки. Такой объём позволял круглосуточно поддерживать тысячи параллельных разговоров без участия человека в каждом из них.
Каждый ИИ-персонаж должен был вести собеседника по заданным этапам разговора, не признавать, что он бот, и уклоняться от просьб прислать новое фото или выйти на видеосвязь. Сервер отмечал пользователей, которые начинали подозревать обман, а также создавал искусственные лайки и посещения профиля.
Видеозвонки тоже могли быть поддельными. При проверке одного приложения исследователь увидел движущийся гобелен и услышал шум, но человека в кадре не было. После звонка виртуальная собеседница похвалила его голос, хотя микрофон исследователя не был подключён.
Для более убедительной проверки разработчики нанимали реальных людей. Они выходили на отдельные видеозвонки, подписывались на пользователей в соцсетях и выбирали один из трёх ответов, предложенных другой ИИ-моделью. Исполнителям платили за сообщения, звонки и подписки, а основную массу разговоров круглосуточно поддерживал Claude.
Разработчики скрывали настоящую механику и от магазинов приложений. Во время проверки App Store и Google Play программа выглядела как обычный сервис знакомств. После одобрения удалённая настройка включала ИИ-профили, платные монеты и переход к сторонним платёжным системам.
Anthropic заблокировала связанные аккаунты и передала сведения Apple и Google. К 16 сентября почти все обнаруженные приложения исчезли из магазинов, но Kira ещё оставалась в Google Play. По словам исследователя Криса Кронбо, новый аккаунт стоил операторам примерно одного дня работы: пока работали приложения и платежи, блокировка одного доступа к ИИ не останавливала всю схему.