94% компаний не смогут остановить вышедшую из-под контроля нейросеть за час
Свежий отчет компании Gravitee, представленный на конференции Web Summit в Лиссабоне, показывает: технологические лидеры практически не следят за тем, что делают их алгоритмы.
В исследовании приняли участие 900 руководителей ИТ-направлений (включая CIO и CTO).
Главные цифры и выводы из отчета.
Слепая зона бизнеса: никто ни за что не отвечает
Компании спешат автоматизировать процессы, но не выстраивают систему ответственности.
• 9 из 10 организаций не назначили сотрудников, которые официально отвечают за действия ИИ-агентов — формально ответственных удалось назвать лишь 9,5% респондентов.
• Только 1 из 8 руководителей может восстановить историю действий агента за последние 30 дней и понять, чьи права доступа он использовал.
• Лишь 6% компаний способны оперативно отозвать доступ и остановить вышедшего из-под контроля агента в течение часа
Реальные утечки данных. Отсутствие контроля уже оборачивается прямыми инцидентами безопасности.
По данным опроса, 21% всех нарушений, связанных с ИИ-агентами, приходится на отправку конфиденциальной информации за пределы компании. Среди самых частых и опасных случаев, с которыми столкнулись респонденты:
- Слив внутренних данных: агенты выкладывали в открытый доступ внутренние учетные данные пользователей и информацию о ценообразовании.
- Путаница в клиентских базах: самый частый сценарий утечки — передача контактных данных одного клиента другому.
Почему одних законов недостаточно?
Проблема вышла на государственный уровень: например, власти Австралии уже обсуждают введение уголовной ответственности для бизнеса, который не пресекает вредоносное поведение своих ИИ-моделей.
Однако генеральный директор Gravitee Рори Бланделл уверен, что внешнее регулирование не спасет ситуацию.
Между тем, что люди считают возможным, и тем, что они фактически способны реализовать, возникает огромная пропасть. В настоящее время, у нас есть фундаментальная проблема с доверием к системам искусственного интеллекта. Компании не получат экономической выгоды, если сами не обеспечат безопасность, управление и контроль.
А в вашей компании уже внедряют ИИ-агентов? Как вы контролируете их доступ к данным?