Автор: Астрал.Безопасность. Категория: Статьи по информационной безопасности. Источник: CISOCLUB
В последнее время искусственный интеллект стал очень популярной тенденцией в сфере IT. Его используют везде, где есть много данных, где необходимо прогнозировать события, автоматизировать процессы и т.д. Не исключением стала и сфера информационной безопасности. Для количественной оценки потенциальных рисков необходимо эффективно обработать огромное количество поступающих данных. И зачастую такой анализ уже нельзя осилить лишь с помощью человеческих возможностей. Однако, из-за новизны данной темы, у многих до сих пор остаются сомнения насчет использования ИИ в такой специфической области как ИБ. Так что же это: хайп или необходимость?
Согласно исследованиям ИСИЭЗ НИУ ВШЭ, в России в 2020 году применялись в большей степени следующие технологии ИИ в IT (в том числе и в ИБ):
· Интеллектуальный анализ данных;
· Обработка естественного языка;
· Компьютерное зрение;
· Распознавание и синтез речи.
Однако в 2022 году ситуация в России поменялась. Аналитики назвали этот год переломным для глобального рынка решений в области искусственного интеллекта. Объем российского рынка ИИ по итогам 2022 года оценивался в ₽550 млрд. Произошедший разрыв связей с мировым научным сообществом может негативно сказаться на его развитии. С другой стороны, уход западных вендоров освободил пространство для российских поставщиков. Также, в связи с ростом атак на российскую инфраструктуру, приоритетом в применении искусственного интеллекта в России стала информационная безопасность.
За последнее время ИИ стал мощным инструментом для повышения уровня информационной безопасности, обеспечивая анализ и выявление угроз, которые могут быть использованы для снижения риска взлома.
Ниже перечислены примеры использования ИИ в ИБ [1]:
· Обнаружение вторжений: ИИ может обнаруживать сетевые атаки, заражения вредоносным ПО и другие киберугрозы.
· Кибераналитика: анализ больших данных для выявления закономерностей и аномалий в информационной системе организации.
· Безопасная разработка программного обеспечения: создание более безопасного программного обеспечения путем уведомления разработчиков о том, закрыт их код или нет.
Одним из примеров систем, в которых есть искусственный интеллект в информационной безопасности, является WAF (Web Application Firewall). Так в одной из таких систем для обучения искусственного интеллекта используется признаковое пространство элементов, образованное путем анализа научных исследований. Перед обучением эти признаки проходят векторизацию с использованием анализа частоты встречаемости n-грамм (TF-IDF).
Эта система решает типичную задачу классификации с двумя типами трафика: легитимного и нелегитимного. В качестве алгоритма машинного обучения используется алгоритм градиентного бустинга (AdaBoost), чья точность составляет 99,96% на 100 млн. запросов.
Кроме WAF в ИБ искусственный интеллект также используется и активно развивается в SIEM системах нашей страны. Так, с помощью новых технологий, осуществляется анализ больших данных (событий с наблюдаемых узлов), их запись в базу и поиск аномалий на основе данных за выбранный пользователем промежуток времени.
Преимуществом данного метода является то, что некоторые события могут не иметь значимости в данный момент времени, но играют важную роль для анализа и расследовании инцидентов. Анализируя подобные события на длительном промежутке времени, можно выявить атаку, которая в противном случае осталась бы незамеченной. Во время анализа есть возможность учета уникальности дня недели.
Описанный выше алгоритм не единственный в SIEM системах. Кроме него также имеет место модуль ML (Machine learning), работающий независимо от оператора по симптоматике. Модуль имеет свою обучающую выборку, накапливаемую в ходе его функционирования. В случае накопления критического веса в разрезе объекта (частое повторение критичных событий, шквал критичных или не критичных событий, растянутое по времени повторение, множественное распределение) — формируется событие и через процесс корреляции формируется инцидент.
Нельзя обойти стороной и недавнее изобретение уже всем известного чат-бота chatGPT. Этот бот обучался на данных до 2021 года, поэтому более свежую информацию он выдать не в состоянии. При этом сфера его использования многообразна, поскольку его суть состоит в ответе на пользовательские вопросы, а качество ответа напрямую зависит от точности заданного вопроса.
В частности, известны случаи написания ботом книг по информационной безопасности. Бот генерирует текст маленькими фрагментами, поэтому автору необходимо заранее составить подробный план содержания книги и максимально точно задать вопросы. Еще одним нюансом стало отсутствие в получившемся издании иллюстраций, что представляется странным для рассказа об анализе вредоносного ПО. Тем не менее, эта книга прекрасно бы подошла для начинающих специалистов в ИБ и могла бы быть использована как некое руководство пользователя.
Несмотря на то, что основной целью ИИ в ИБ являлось усиление безопасности, он может быть использован и хакерами.
Примером служит недавняя компрометация фреймворка машинного обучения PyTorch-nightly на официальном сайте с библиотеками на Python PyPI, произошедшая в период с 25 по 30 декабря 2022 года. Все пользователи, которые установили в этот период библиотеку torchtriton данного фреймворка, загрузили себе в проект вредоносный код. Таких пользователей за такой короткий промежуток времени оказалось свыше 2300. Это стало возможным, так как вредоносная библиотека имела такое же название, что и оригинальная, опубликованная в репозитории PyTorch-nightly. Однако наряду с этим, при установке библиотек на Python, сайт PyPI имеет преимущество перед другими ресурсами, поэтому пользователь загружал к себе в проект вредоносный код [2].
Кроме того, «черные шляпы» начали активно использовать в своих целях chatGPT, изучая его возможности быстрого создания средств взлома. Так, самые ранние пользователи этого бота забили тревогу по поводу того, что приложение, которое стало вирусным через несколько дней после запуска, может кодировать вредоносное программное обеспечение. Данное ПО, в свою очередь, способно отслеживать действия пользователей на клавиатуре или создавать программы-вымогатели [3].
Еще один пример: на одном из криминальных подпольных форумов был продемонстрирован написанный chatGPT код, который украл интересующие файлы, сжал их и отправил через Интернет. К тому же был продемонстрирован еще один инструмент, который устанавливал бэкдор на компьютер и мог загружать на зараженный компьютер дополнительные вредоносные программы.
Более того, этим ботом начали пользоваться мошенники в целях создания убедительных персонажей, в основном девушек, для автоматизации пустой болтовни, а также хакеры для создания фишинговых сайтов, обманом заставляющих пользователей делиться своей информацией.
В заключении хотелось бы отметить, что в нашем непрерывно развивающемся мире необходимо искать новые методы защиты информации, одним из которых является ИИ. Его разумное применение в информационной безопасности может повысить защищенность системы, при этом требуя надзора со стороны специалиста по информационной безопасности для оценки корректности данных. С другой стороны, ИИ может быть использован и для взлома систем, поэтому следует повышать бдительность пользователей и проводить обязательные проверки исходного кода программы ИИ на уязвимости перед его внедрением в инфраструктуру.
Автор: Асатрян Аида, Специалист по информационной безопасности «Астрал.Безопасность».
Больше интересного материала на cisoclub.ru. Подписывайтесь на нас: VK | Twitter | Rutube | Telegram | Дзен | YouTube.