AI Governance - что это такое?

Всем привет! Меня зовут Андрей, последнее время я интересуюсь темой обеспечения безопасности в сфере ИИ. Я начинаю цикл статей, в которых мы разберем различные аспекты AI Security.

Мировые компании всё больше задумываются о том, как не налететь на штрафы из-за утечек данных. Так, в 2023 году Ирландская комиссия по защите персональных данных наложила на компанию Meta штраф в размере 1.2 млрд евро за то, что компания Цукерберга нарушила GDPR, продолжая передавать данные пользователей из ЕС в США без соблюдения надлежащего уровня безопасности. Под таким уровнем Европейский суд подразумевает следующее: данные, покидающие пределы ЕС, должны иметь уровень защиты в соответствии с GDPR даже тогда, когда они уходят за границы ЕС.

Другие крупные технологические игроки, такие как Google, Amazon и Apple также получают штрафы на сотни миллионов долларов. Бизнес это видит и старается внедрять AI Core Governance, Risk & Compliance (GRC) решения, которые не просто помогают «подружиться» с законом, но и ставят защиту данных на первый план.

Посмотрим на примере, что из себя представляет GRC:

Представим, что есть банк который внедрил ИИ для оценки кредитоспособности клиентов. AI GRC нужен для того, чтобы технология работала по заданным правилам и не допускала, например, дискриминации по возрасту, полу или финансовому положению клиента.. Вдобавок AI GRC позволяет проверять, соответствует ли внедренный ИИ продукт законам о защите данных, например, GDPR в ЕС или ФЗ 152 в РФ.

До хайпа с ИИ компании массово применяли системы DLP (Data Loss Prevention), чтобы защитить свои данные от утечек и случайных сливов. DLP работает следующим образом: контролирует, что можно отправлять наружу, а что — нельзя, и блокирует попытки делиться важной информацией за пределами компании.

Основная фишка DLP — это политики, которые администраторы могут настраивать по типу данных и действиям с ними. Например, если кто-то пытается отправить файл с конфиденциальной информацией через неподдерживаемое приложение или внешний сервис, DLP это сразу отловит и может либо заблокировать отправку, либо отправить уведомление администратору. Некоторые DLP-системы даже анализируют поведение сотрудников, чтобы поймать возможные попытки утечки по неочевидным признакам, например, внезапный доступ к большому объёму данных или отправка крупных файлов.

С появлением ИИ всё стало сложнее: современные чатботы и копилоты генерируют ответы в реальном времени, интегрируются с огромным количеством данных и могут случайно выпустить наружу данные под NDA. Стандартного DLP становится недостаточно — нужны более гибкие и умные решения, которые смогут держать ИИ в рамках.

На рынке уже есть ряд интересных компаний, которые предлагают решения в области GRC. Я выделил 3 наиболее интересных:

Одно из самых развитых решений на рынке. Credo AI с 2020 года развивает свое решение, компания успела собрать несколько значимых наград: признание от CBInsights AI 100, получение звания пионера от Всемирного экономического форума и ряд других наград. Летом 2024 года Credo AI удалось поднять 21 млн долларов финансирования на раунде B.
У компании есть своя платформа для обучения по теме безопасности ИИ, активно развивается блог и имеется хорошая история работы с клиентами. Резюмируя - Credo AI является одной из компаний, на которую я бы рекомендовал равняться другим игрокам на рынке.

Компания была основана в 2021 году и за прошедшие 3 года успела поднять несколько раундов в сентябре 2023. Решение представляет собой типовое в области GRC решение - некий аналог DLP, но с более конкретными направлениями. Интерактивно, вовлекающе. Осенью 2023 Enzai AI получила 4 млн долларов инвестиций. Если компания продолжит двигаться в набранном темпе, есть все шансы выбиться в лидеры рынка GRC.

Гонка компаний в Responsible AI вынуждает игроков выкатывать решения, которые являются сырыми или недоработанными. Подобным примером является Suzan AI - компания основана в начале 2023 года двумя разработчиками по Франции. Могу предположить, что, возможно, у команды даже нет самого продукта - на сайте красуется кнопка “book a demo”. Пользователь не может прочитать про историю команды или узнать кейсы внедрения, так как их попросту нет. Однако компания не забыла подсветить соответствие регуляторным требованиям, что является неким хайпом на рынке. В общем и целом, Suzan AI есть куда еще расти.

Резюмируя мы видим, что стартапы в области GRС активно получают финансирование, что говорит об интересе к данному направлению со стороны инвесторов.

Знаете ли вы похожие решения на российском рынке? Если да - делитесь ими в комментариях!