Искусственный интеллект + хакеры: от ненависти до любви и обратно. Часть II

Мы продолжаем наш роман о непростых взаимоотношениях искусственного интеллекта и компьютерной преступности, и в этой части поговорим о том, чем хакеры могут агрессивно похвастаться перед высокими технологиями.

Машинное обучение уже изменило многие аспекты повседневной жизни, и мы знаем, на что способна эта технология. Но, увы и ах, искусственный интеллект уязвим для кибератак. Системы машинного обучения — ядро современного ИИ — изобилуют уязвимостями. Код атак для использования этих уязвимостей уже широко распространен, в то время как защитные методы ограничены и с трудом поспевают за средствами их обхода. Уязвимости машинного обучения позволяют хакерам манипулировать целостностью систем машинного обучения (вынуждая их совершать ошибки), конфиденциальностью (вынуждая их к утечке информации) и доступностью (вынуждая их прекращать работу).

О слабых местах ИИ говорил академик РАН Игорь Соколов, сетуя на то, что искусственный интеллект не может ограничиваться искусственными нейронными сетями и машинным обучением. Виной тому — наличие методов, решающих задачи, для которых отсутствует или не подходит известный алгоритм решений. Человеческая речь не поддается описанию с помощью дифференциального уравнения, и необходимость извлечения этих данных рождает новую математику. А чем сложнее система, тем сложнее предусмотреть все аспекты ее защиты.

Рассмотрим два самых известных вида атак на искусственный интеллект.

Представьте, что, обладая способностью распознавать цвета в нормальной ее форме, вас бы научили, что красный — это на самом деле зеленый, то есть цвет вашей крови называется не иначе как «зеленый». А как корабль назовешь, так он и поплывет. Эту махинацию можно провернуть и с нейросетью, заведемо заложив в нее неверные данные или триггеры, которых быть не должно.

Вы можете сказать, раз «закладка» осуществляется на этапе обучения, исполнить такой маневр могут только разработчики, и атака в целом не опасна. Но что, если нейросеть обучается постоянно? Например, при прохождении Captcha группа пользователей сговорится и станет каждый раз отмечать одну и ту же неправильную картинку — тогда нейросеть может пересмотреть свои соображения о ее неправильности. Вот тебе, бабушка, и Юрьев день. Небольшой тест на внимательность: какой из трех китов информационной безопасности был убит этой атакой?

Они касаются следующего этапа разработки нейросети, а именно — ее применения. Суть атаки заключается в создании иллюзии, а для ее проведения применяют два визуально не отличимых друг от друга, но критически разных для ИИ состязательных изображения, к одному из которых добавляются универсальные помехи. В данном случае нейросеть выступает в образе этакого Пушкина, который сам рад обманываться. Посудите сами:

Как вы могли заметить, атаки на системы машинного обучения отличаются от традиционных хакерских атак и поэтому требуют новых средств защиты и реагирования. Кроме того, уязвимости машинного обучения часто нельзя исправить так, как это можно сделать с традиционным программным обеспечением. Что еще хуже, некоторые из этих уязвимостей требуют минимального доступа или вообще не требуют доступа к системе или сети жертвы, предоставляя больше ходов для злоумышленников и меньше — к обнаружению атаки и защите от них.