Shadow AI и Dark AI: отличия и суть ИИ-угроз

Компании сталкиваются с двумя похожими по названию, но принципиально разными по природе угрозами: Shadow AI (теневой, скрытый, несанкционированный ИИ) и Dark AI (тёмный, злонамеренный, нелегальный ИИ). Чтобы бизнесу было проще оценивать риски в этой сфере, выработать политики и защитить данные сотрудников, заказчиков и конечных потребителей, разберем суть обеих угроз.

Shadow AI (теневой ИИ) — явление, когда сотрудники используют внешние ИИ-сервисы, например, ChatGPT, DeepSeek, Midjourney и др., чтобы выполнять рабочие задачи, и делают это без согласования с отделами ИТ и безопасности, без контроля соответствия политик безопасности и конфиденциальности.

Эта «теневая» практика дополняет склонность работников к Shadow IT, когда они используют в работе без согласования с айтишниками и безопасниками сторонние программы, оборудование и информационные технологии.

Цели сотрудников, которые используют теневой ИИ, обычно благие: повысить эффективность работы, найти неочевидные решения сложных задач.

Dark AI (тёмный ИИ) — злоупотребление технологиями искусственного интеллекта в неэтичных или вредоносных целях: чтобы сгенерировать вредоносный код, автоматизировать фишинг, создавать дипфейки, использовать для социальной инженерии и т.п. Тёмные ИИ-инструменты намеренно лишены этических ограничений либо с помощью промптов, либо будучи «упакованы» как приложение. Тёмный ИИ используют, чтобы причинить вред жертве или обеспечить выгоду злоумышленникам.

Одно дело, когда сотрудники генерируют иллюстрации для корпоративных мероприятий по промпту в духе: «Портрет девушки с чашкой лавандового рафа в кофейне, украшенной к Новому году». Совсем другое — когда, скажем, загружают в ChatGPT таблицу с бюджетом и просят ее обновить с учетом инфляции.

Если сотрудник загружает в публичный ИИ-чат внутренние документы — есть риски использования этих документов для дообучения модели. Коды, алгоритмы, фрагменты клиентской базы, дорожные карты, маркетинговые стратегии и другие данные, которые должны оставаться во внутреннем контуре, но загружены в публичные ИИ-инструменты, могут попасть в тренировочные выборки и к третьим лицам, если сотрудники не запретят моделям использовать вносимый контент. Таким образом, «теневой» ИИ повышает риски утечки конфиденциальной информации и раскрытия интеллектуальной собственности.

Если компания не контролирует, какими инструментами пользуются сотрудники, отследить подобную утечку практически невозможно, как и устранить ее последствия.

Мы говорим о Dark AI, когда ИИ используется в преступных целях. Это может быть как «взлом» легальной модели, так и специально разработанная большая языковая модель (LLM).

Например, хакеры пишут вредоносный код, и с помощью ИИ автоматизируют и ускоряют процесс разработки вредоносных программ. Киберпреступники используют ботов на базе ИИ, чтобы быстро сканировать, анализировать и выявлять уязвимости в сетях. Появляется всё больше программ для генерации дипфейков в режиме реального времени.

LLM, к которым, например, относится ChatGPT, помогают преступникам составлять персонализированные сообщения и проводить целые кампании социальной инженерии, чтобы заставить людей предоставить учетные данные. А с помощью неверных или сфальсифицированных данных для обучения ИИ киберпреступники могут искажать модели, чтобы те вели себя хаотично или вовсе выходили из строя.

В даркнете появляются языковые модели, обученные с преступным уклоном и заточенные под хакерские задачи. Яркий пример — обученный на данных даркнета WormGPT, который, однако, был экспериментальным и быстро закрылся. Встречаются и скам-проекты: приложения, доступные по недорогой подписке, которые не работают, как заявлено.

Полностью запретить ИИ «снизу» — не всегда рабочий вариант. Лучше легализовать и контролировать то, как сотрудники используют ИИ: выявлять потребности коллег и предлагать корпоративные, безопасные альтернативы, разрешать работу с внешними инструментами тем, у кого нет доступа к конфиденциальным внутренним документам.

Работу с ИИ важно отрегулировать на уровне политик и обучения. В компании, которая обращается к ИИ-инструментам для решения бизнес-задач, должны быть зафиксированные понятные правила использования ИИ и регулярные тренинги по тому, как работать ИИ без рисков для чувствительных данных.

Необходимы и технические меры защиты, анализ угроз, подготовка планов на случаи атак с применением ИИ.

* * *

Shadow AI подтачивает безопасность компании изнутри из-за отсутствия контроля, Dark AI —усиливает внешние киберугрозы за счёт автоматизации и масштабирования атак. В обоих случаях уязвимыми оказываются не только системы, но и люди — сотрудники, заказчики и конечные потребители. Поэтому сегодня ключевая задача бизнеса — не просто реагировать на инциденты, а выстраивать системное управление ИИ.