Зловещие последствия первой в мире кибератаки, выполненной с помощью ИИ

Китайские хакеры использовали чат-бота Claude для взлома государства и частных компаний. На прошлой неделе ИИ компания Anthropic объявила, что китайские хакеры использовали ее флагманский ИИ помощник Claude «в первой в мире хакерской атаке с применением ИИ». Этот кейс вызвал много вопросов о том, в какой степени такие ИИ боты, как Claude и ChatGPT, защищены от манипуляций хакерами.

Люди постоянно придумывают новые задачи для ИИ: написание меню, создание эссе, совершенствованные кибератаки.

Согласно пресс релизу Anthropic, в середине сентября компания выявила массированную хакерскую атаку, совершенную группировкой «GTG-1002». Атака была нацелена на «ключевые техно корпорации, финансовые институты, химические компании и государственные службы во многих странах».

Атаки такого вида - дело обычное. Но в этом случае от 80% до 90% операций было совершено с помощью ИИ. После того как человек выявил нужный объект атаки, он использовал Claude для идентификации ценных баз данных в этом объекте, проверки их на уязвимости и написания кода для получения доступа к этим базам данных и извлечения данных. Человек был вовлечен только в критических точках, чтобы написать промпт для ИИ бота и проверить его работу.

Claude, как и многие другие большие языковые модели, оснащен средствами защиты для предотвращения использования этого инструмента для хакерских атак, но хакеры смогли найти «взломать» инструмент. Они разбили хакерские задачи на множество мелких подзадач и дали промпт Claude, что они- компания по защите от кибератак, которая проводит тестирование. Этот случай вызвал много вопросов о том, в какой степени такие ИИ боты, как Claude и ChatGPT, защищены от таких манипуляций. Вызывает опасения возможности хакеров использовать эти ИИ инструменты для разработки биологического оружия и других опасных материалов.

Anthropic признала, что Claude в той атаке «искажал факты или утверждал, что добыл секретную информацию, хотя она была общедоступной». Даже хакерам приходится быть готовым к галлюцинациям ИИ ботов.

Отчет компании поднимает вопросы о том, что ИИ инструменты будут использоваться для хакерских атак, чтобы делать их проще и быстрее. Также ИИ боты будут использоваться для поиска уязвимостей разных систем: от систем национальной безопасности до банковских счетов обычных граждан.

Пока нет твердой уверенности, что наступила кибер анархия. Уровень технических знаний Claude пока не превышает уровень обычного интернет тролля. Однако, эксперты уже много лет предупреждают, что ИИ модели могут быть использованы для создания вредоносного кода с целью мошенничества или шпионажа. Этот феномен называют «Вайб хакинг» ( “vibe hacking”). В феврале OpenAI сообщил, что обнаружил злоумышленников из Китая, Ирана, Северной Кореи и России, которые использовали ИИ ботов для проведения хакерских атак.

В сентябре Центр новой американской безопасности (Center for a New American Security (CNAS)) опубликовал отчет об угрозах ИИ атак. В отчете объясняется, что самые трудозатратные и длительные задачи в большинстве кибератак приходятся на этапы планирования, разведки и разработки инструментов атаки. (Сама атака – довольно стремительное событие). Автоматизируя эти задачи, ИИ может кардинально поменять практики рынка. Именно это и произошло в случае с Claude.

Caleb Withers, автор отчета CNAS, сообщил изданию Vox, что заявление Anthropic «в тренде» и отражает последние достижения ИИ. Принимая во внимание «уровень сложности, который ИИ может легко автоматизировать, этот тренд продолжит распространяться».

Anthropic заявляет, что хакеры оставили достаточно следов, позволяющих установить, что хакеры - из Китая, хотя китайское консульство в США назвало это заявление «клеветой и оскорблением».

В начале года китайская большая языковая модель DeepSeek вызвала шок в Вашингтоне и Силиконовой Долине. Ведь стало ясно, что несмотря на усилия США сдержать доступ Китая к продвинутым чипам, без которых разрабатывать ИИ модели затруднительно. Прогресс Китая в ИИ впечатляет, Китай лишь незначительно отстает от США. Показательно, что китайские хакеры предпочитают использовать американские ИИ модели, чтобы организовать кибератаки.

За прошлые года опасения относительно масштаба и сложности ИИ кибератаки на США только росли. Среди кейсов - Volt Typhoon, кампания по внедрению кибер-агентов в государственные системы США, чтобы подготовить выполнение атаки в случае серьезного конфликта между США и Китаем. Другой кейс- Salt Typhoon, шпионская кампания, направленная на телеком компании в десятке стран. Эта кампания была нацелена на коммуникации официальных лиц государств, включая президента Трампа и вице-президента President JD Vance во время последней президентской кампании в США.

Официальные лица заявляют, что масштабы и сложность этих атак свидетельствуют о высоком уровне подготовки и реализации, отличающемся от того, что выполнялось ранее. Видимо, это предвестник того, что нас ждет в эпоху ИИ.

Ссылка на статью:

Отчет CNAS Tipping the Scales Emerging AI Capabilities and the Cyber Offense-Defense Balance: