Отчёт: мошенничество с ИИ

Компания Anthropic выпустила любопытный отчёт о самых креативных вариантах недавнего злоупотребления своей платформой Claude. Из этих историй становится ясно: угрозы со стороны генеративных моделей стали намного серьёзнее, чем мы думали ранее.

Какие схемы злоумышленников обнаружили аналитики из Anthropic?

🤔 Доработка вирусов

Относительно неопытный пользователь смог получить от Claude инструкции, как значительно доработать открытый исходный код вредоносного ПО. В результате получилось нечто весьма продвинутое — со встроенной системой распознавания лиц и модулями для сканирования даркнета. Не имея инструмента вроде Claude, такой пользователь вряд ли мог бы создать вирус подобного уровня.

🤔 Сбор краденых паролей

В ещё одном кейсе злоумышленники использовали Claude для обработки уже слитых учётных данных — и получили доступ к видеокамерам наблюдения. Эксплойт хоть и классический, но удивительно, как легко теперь автоматизировать подобные схемы с помощью ИИ.

🤔 Манипуляции в соцсетях на новом уровне

Самый необычный описанный случай — создание «системы влияния», основанной на сотнях ботов в X и Facebook (запрещен в РФ). Claude генерировал контент, давал указания ботам по комментариям и лайкам и даже подбирал оптимальное время взаимодействия с десятками тысяч людей.

И самое занятное: когда этих ботов обвиняли в искусственности, система автоматически реагировала на подозрения с сарказмом и юмором, не позволяя «выбить себя из роли» различными трюками вроде просьб написать рецепты или рифмованные стихи. Это следующий уровень манипуляций: долгосрочные кампании по созданию иллюзии живого общения и вовлечения, гораздо сложнее отличимые от живого общения, чем первичные набеги вроде Cambridge Analytica.

Как утверждает Anthropic, такие кампании активны в ряде стран и, возможно, имеют государственные связи, хотя доказать этого пока невозможно.

🤔 Рекрутинговые мошенничества

Завершающий кейс — использование Claude для «отбеливания языка» текстов мошеннических вакансий в Восточной Европе (где же это интересно). Чатбот помогал технически неграмотным мошенникам звучать безупречно, профессионально и убедительно.

Что со всем этим делать?

Anthropic уже заблокировала выявленные аккаунты и внедрила новые механизмы защиты. Однако компания подчёркивает: такие схемы неизбежно будут развиваться на фоне общедоступности мощного генеративного ИИ.

Отчёт очень важен ещё и потому, что Anthropic — один из признанных лидеров по безопасности моделей и серьёзности собственных внутренних тестов. То, что даже при серьёзном подходе подобные вещи всплывают постфактум, говорит о многом.

Подписывайтесь на Telegram-канал Нейрократия.