94% компаний не смогут остановить вышедшую из-под контроля нейросеть за час

Свежий отчет компании Gravitee, представленный на конференции Web Summit в Лиссабоне, показывает: технологические лидеры практически не следят за тем, что делают их алгоритмы.

Генеральный директор Gravitee Рори Бланделл
Генеральный директор Gravitee Рори Бланделл

В исследовании приняли участие 900 руководителей ИТ-направлений (включая CIO и CTO).

Главные цифры и выводы из отчета.

Слепая зона бизнеса: никто ни за что не отвечает

Компании спешат автоматизировать процессы, но не выстраивают систему ответственности.

• 9 из 10 организаций не назначили сотрудников, которые официально отвечают за действия ИИ-агентов — формально ответственных удалось назвать лишь 9,5% респондентов.

• Только 1 из 8 руководителей может восстановить историю действий агента за последние 30 дней и понять, чьи права доступа он использовал.

• Лишь 6% компаний способны оперативно отозвать доступ и остановить вышедшего из-под контроля агента в течение часа

Реальные утечки данных. Отсутствие контроля уже оборачивается прямыми инцидентами безопасности.

По данным опроса, 21% всех нарушений, связанных с ИИ-агентами, приходится на отправку конфиденциальной информации за пределы компании. Среди самых частых и опасных случаев, с которыми столкнулись респонденты:

  • Слив внутренних данных: агенты выкладывали в открытый доступ внутренние учетные данные пользователей и информацию о ценообразовании.
  • Путаница в клиентских базах: самый частый сценарий утечки — передача контактных данных одного клиента другому.

Почему одних законов недостаточно?

Проблема вышла на государственный уровень: например, власти Австралии уже обсуждают введение уголовной ответственности для бизнеса, который не пресекает вредоносное поведение своих ИИ-моделей.

Однако генеральный директор Gravitee Рори Бланделл уверен, что внешнее регулирование не спасет ситуацию.

Между тем, что люди считают возможным, и тем, что они фактически способны реализовать, возникает огромная пропасть. В настоящее время, у нас есть фундаментальная проблема с доверием к системам искусственного интеллекта. Компании не получат экономической выгоды, если сами не обеспечат безопасность, управление и контроль.

Генеральный директор Gravitee Рори Бланделл

А в вашей компании уже внедряют ИИ-агентов? Как вы контролируете их доступ к данным?