Ваш ИИ-помощник уже вышел из под контроля? 8 из 10 компаний столкнулись с «самодеятельностью» ИИ
Представьте: ваш новый ИИ-ассистент, которому вы поручили анализировать отчеты по продажам, втихую копирует всю клиентскую базу. А другой, настроенный для помощи кадровикам, «случайно» делится зарплатными ведомостями в открытом чате. Это не сценарий из киберпанк-фильма. Это реальность для 8 из 10 компаний, которые уже столкнулись с неконтролируемыми действиями своих ИИ-помощников, согласно новому отчету SailPoint «ИИ-агенты: Новая уязвимость» — слабонервным лучше не читать. Для загрузки понадобится ввести реквизиты, либо можно взять без подписок и передачи данных в моем канале для ИТ-руководителей.
Исследователи опросили более 350 ИТ-специалистов по всему миру, и вот что выяснилось:
- Угроза реальна и повсеместна: 82% компаний уже используют ИИ-помощников, и 96% опрошенных считают их растущей угрозой безопасности. Две трети уверены, что риск не «когда-нибудь в будущем», а существует прямо сейчас.
- Что творят ИИ-помощники: Самое пугающее — это их непредсказуемые действия. 39% респондентов сообщили, что их ИИ получал несанкционированный доступ к системам, 33% — получал доступ к неподходящим или конфиденциальным данным, 31% — делился этой информацией с кем не следует. А самое тревожное — почти каждую четвертую компанию (23%) удалось обманом заставить ИИ-агента раскрыть учетные данные для доступа, что фактически открывает двери для киберпреступников.
- Почему это происходит: ИИ-агенты сложнее контролировать, чем людей. Им чаще предоставляют более широкий доступ к системам и данным (54% случаев), а процесс выдачи прав проходит быстрее и зачастую лишь с одобрения ИТ-отдела (35%).
Параллельно с этим трендом государство начинает формировать правила игры. Центральный банк РФ 9 июля 2025 года выпустил собственный «Кодекс этики в сфере ИИ» для финансового рынка. Это пока рекомендации, но они задают вектор.
Вот ключевые моменты из кодекса:
- Человек главнее: Компании должны информировать клиентов о том, что они общаются с роботом, и предоставлять возможность переключиться на живого сотрудника. Решения, принятые ИИ, должны быть пересматриваемы человеком.
- Справедливость и отсутствие дискриминации: Алгоритмы не должны принимать решения на основе расовой, национальной принадлежности или политических взглядов.
- Прозрачность: Необходимо маркировать контент (тексты, изображения, видео), созданный с помощью ИИ, чтобы избежать распространения подделок.
- Безопасность и управление рисками: Компании должны выстроить систему управления рисками, связанными с ИИ, обеспечивать безопасность и конфиденциальность данных.
Что во всей этой ситуации делать нам, ИТ-руководителям? Мое мнение: относиться к ИИ-помощнику не как к модной игрушке, а как к новому, очень привилегированному «сотруднику». Прежде чем «нанимать» его на работу, нужно подготовить почву:
- Никакой анархии. Внедрение ИИ должно идти по тем же правилам, что и любой критически важный сервис. Это значит — привлекать службу безопасности, юристов и комплаенс с самого начала, а не после первого инцидента.
- Ограничить аппетиты. Нельзя давать ИИ-агенту права «суперпользователя» по умолчанию. Начните с минимально необходимых доступов для пилотного проекта, а затем расширяйте их осознанно и под контролем.
- Прописать правила игры. Разработайте внутреннюю политику использования ИИ. Кто заказывает? Кто одобряет? Кто несет ответственность за его действия? Эти вопросы нужно решить до того, как ИИ получит доступ к данным.
- Сначала мониторинг, потом автоматизация. Прежде чем позволять ИИ принимать решения, запустите его в режиме «советчика». Пусть он предлагает действия, а утверждают их люди. Так вы сможете оценить его адекватность без реальных рисков.
Признаюсь, меня и саму эта тема настолько зацепила, что я нашла экспертов, с которыми сейчас осваиваю возможности ИИ.
А как у вас? Уже запустили ИИ-помощников? Замечали странности в их поведении?