Как работают боты для рассылки спама и методы защиты от них

Меня зовут Максим Кульгин, и моя компания clickfraud занимается защитой от скликивания контекстной рекламы в «Яндекс. Директе» и Google Ads. Очень часто боты, которые переходят на ваш сайт по контекстной рекламе, оставляют ложные заявки на сайте в формах обратной связи или добавляют товары в корзину без цели купить. Для чего? Чтобы максимально мимикрировать под человека.

Бот — приложение, которое обычно запрограммировано на то, чтобы выполнять повторяющиеся задачи гораздо быстрее человека. Одно из преимуществ ботов — их действия автоматизированы. А значит, они могут работать по запрограммированным инструкциям и даже без вмешательства человека. В зависимости от применения и поведения ботов, они могут относиться к следующим категориям:

• Хорошие боты: любой бот, который помогает людям или организациям достигать их личных или деловых целей, считается хорошим. В качестве примеров хороших ботов можно привести поисковых роботов, социально-сетевых ботов и чат-ботов.
• Плохие боты: любой бот, который ведет вредоносную деятельность в Интернете, считается плохим. Эти боты разрабатываются киберпреступниками и «хакерами в черных шляпах» для получения личной или финансовой выгоды. Примеры плохих ботов: боты для сбора данных и боты для рассылки спама (боты-спамеры).

В этом руководстве вы узнаете, что такое боты-спамеры и как обнаружить их на ранней стадии их активности, чтобы минимизировать вред.

Прежде чем говорить о ботах-спамерах, давайте кратко обсудим несколько моментов, связанных с плохими ботами. В наши дни люди чаще взаимодействуют с ботами, чем с живыми консультантами. В качестве примеров можно привести чат-ботов и автоматический обзвон, который проводит какая-нибудь телекоммуникационная компания. Люди с радостью взаимодействуют с ботами, только если эти боты не причиняют им вреда. Но:

• Знаете ли вы, что они медленно и незаметно собирают ваши данные?
• Знаете ли вы, что в Интернете параллельно функционирует множество подобных ботов, готовых собирать ваши данные?

40% мирового интернет-трафика — это боты, среди которых есть как хорошие, так и плохие. Самая подверженная вредоносным ботам отрасль — банковская и финансовая, где 42% трафика приходится на плохих ботов. Эти боты зарабатывают путем парсинга или сбора конфиденциальных данных с помощью фишинговых страниц или аналогичных методов.

Еще одна из сфер, которые сильнее других страдают от вредоносных ботов, — продажа билетов, где 39% веб-трафика приходится на таких ботов. Эти боты оперативно скупают билеты и продают их третьим лицам, что напрямую вредит реальным клиентам.

В зависимости от типа деятельности и намерений ботов, можно выделять их и в другие категории. Боты-спамеры — самые известные плохие боты в Интернете.

Бот-спамер — это приложение, которое обычно запрограммировано на массовую рассылку спама. Боты-спамеры способны выполнять различные вредоносные действия, как например: публикация фальшивых комментариев на форумах, сбор адресов электронной почты и показ неуместной рекламы. Эти боты-спамеры рассылают нежелательные сообщения, в которых обычно размещены фишинговые ссылки или формы для сбора ваших данных. Некоторые боты-спамеры распространяют информацию о несуществующих рекламных акциях, чтобы направлять искусственный трафик на сайты.

Боты-спамеры могут вести свою деятельность в различных информационных пространствах и пользуются разнообразными методами. Они могут создавать учетные записи на сайтах, а также оставлять комментарии с неуместным содержанием в группах в социальных сетях, на форумах и в интернет-сообществах. Эти боты запрограммированы на взаимодействие с пользователями на различных форумах и сообществах таким образом, чтобы пользователи думали, что взаимодействуют с людьми, а не с ботами.

Формы для регистрации новых пользователей состоят из нескольких полей, и любой хакер может написать небольшой скрипт или программный код для того, чтобы бот заполнял формы. Используя таких ботов, они создают множество подозрительных новых пользователей, заполоняя базу данных компании учетными записями, через которые рассылается спам. Из-за такой чрезмерно активной регистрации новых учетных записей обычный пользователь сталкивается с задержкой при работе с сайтами. Также увеличиваются показатели отказов при заполнении регистрационных форм. Эти боты-спамеры могут получить доступ к вашему сайту и начать рассылку спама другим пользователям.

Некоторые боты-спамеры запрограммированы просто на сбор данных со всего Интернета. А затем данные продаются в темном сегменте Всемирной паутины. Это могут быть конфиденциальные финансовые сведения и другие персональные данные, как например адрес электронной почты, номер телефона и профили пользователей социальных сетей.

В зависимости от рода своей деятельности боты-спамеры могут быть разных типов. Некоторые из них занимаются сбором данных, другие спамом в комментариях на сайтах, третьи — рассылкой нежелательных электронных писем.

Эти боты собирают электронные адреса, просматривая веб-страницы на наличие совпадений с шаблоном адреса, например с name. surname@domain. name. Как только боты при помощи парсинга соберут все данные, база электронных адресов будет готова к использованию. Затем злоумышленники рассылают электронные письма большому количеству пользователей. Эти письма вредоносны сами по себе, содержат вирусы или включают в себя ссылку, при помощи которой злоумышленники крадут или выманивают у пользователей личную информацию, то есть занимаются фишингом.

Спам по электронной почте рассылается не только по сформированной базе данных, но и по списку электронных адресов, купленному в темном сегменте Всемирной паутины.

Такие боты, как правило, встречаются на общедоступных форумах и обычно размещают фальшивые комментарии, чтобы что-нибудь продать или создать обратные ссылки на определенный сайт для увеличения его посещаемости. Многие сайты позволяют беспрепятственно оставлять комментарии, благодаря чему ботам-спамерам легче оставлять комментарии — им даже не нужно регистрироваться на сайте. Даже если ваш сайт требует от пользователей пройти авторизацию, эти боты могут создать учетную запись и начать комментировать.

Наиболее активны боты в социальных сетях, таких как Twitter, Facebook или Instagram. Эти боты обычно публикуют сообщения с рекламными предложениями или информацией о сделках, товарах либо продуктах. Они ставят лайки, делают репосты и оставляют комментарии, которые никак не относятся к соответствующим постам. Такие учетные записи могут быть поддельными или принадлежать реальным пользователям, которых взломали. Учетная запись таких ботов будет на вид не вызывать подозрений, как и любая другая учетная запись. Обычно в Twitter можно заметить ботов, которые публикуют твиты или ретвиты, а также ставят лайки сообщениям, удовлетворяющим их набору правил.

Боты-спамеры обычно с подозрительной частотой пользуются формами, предназначенными для регистрации новых пользователей или оформления подписки на рассылку по электронной почте. Боты-спамеры заполняют поля форм, указывая тысячи адресов электронной почты, которые никому не принадлежат. Ниже представлено несколько эффективных методов, позволяющих избежать таких случаев недобросовестного использования форм.

Лучший и, вероятно, самый простой метод, который можно использовать для предотвращения спама и неприемлемой активности на сайте. Это отличный бесплатный способ борьбы с нежелательным трафиком.

По словам Google, «recaptcha использует продвинутый механизм анализа рисков и адаптивные задания, чтобы защитить ваш сайт от вредоносных роботов». Самое интересное, что боты не могут легко пройти рекапчу, в отличие от настоящих пользователей!

Подписка с подтверждением (Confirmed Opt-In, COI) — это процедура, при которой пользователь получает электронное письмо для подтверждения того, что данный электронный адрес ему принадлежит. В письме содержится ссылка, которая сообщает о том, что новый пользователь успешно зарегистрирован и хочет активировать свою учетную запись. Аналогичным образом, если вы подписываетесь на какую-нибудь рассылку по электронной почте, вы получите письмо, в котором нужно будет нажать на ссылку, сообщающую о том, что вы хотите получать рассылку.

Этот метод поможет вам не только защититься от ботов-спамеров, но еще и привлекать качественных лидов или клиентов. Также он уменьшит количество отказов, поскольку COI заставит пользователя исправить электронные адреса, которые набраны неправильно или недействительны.

Это дополнительные поля в вашей форме, которые не видны человеку. Боты обычно заполняют все поля формы, поэтому если поля-ловушки заполнены, то такие отправленные формы должны быть немедленно помечены как недействительные или спамерские.

Боты-спамеры запрограммированы на имитацию реальных пользователей. Поэтому обнаружить их непросто. Но есть несколько признаков, которые могут помочь вам определить, какие сообщения приходят от ботов-спамеров, а какие от реальных пользователей.

• Боты используют английский язык. Они обучаются или программируются таким образом, что делают множество грамматических и орфографических ошибок, из-за которых трудно уловить смысл их сообщений.
• Сообщения будут поступать из необычного источника. Сообщение будет приходить от абсолютно незнакомого вам человека, а значит, такое сообщение следует считать подозрительным и предназначенным для кражи ваших личных данных или распространения вредоносного программного обеспечения.
• Сообщение будет неактуальным или неуместным. На представленном ранее скриншоте можно заметить, что кто-то разместил на форуме сообщества комментарий со ссылкой для скачивания фильма.
• В этом комментарии предлагают перейти по ссылке. Эта ссылка ведет на фишинговые страницы, созданные для сбора ваших личных данных или распространения вредоносного программного обеспечения.

Этот раздел представляет собой комбинацию обоих методов защиты, которые обсуждались выше, но мы рассмотрим еще несколько методов, которые дадут больше возможностей для защиты от ботов-спамеров.

• Блокировка спама в комментариях: самый первый метод — это блокировка сомнительных комментариев, в которых нет никакой пользы для вашего блога или для ваших учебных материалов. Вы можете использовать инструмент Akismet для фильтрации комментариев со спамом. Кроме того, можно воспользоваться их API для реализации такой фильтрации.
• Временной анализ форм: в формах для регистрации есть поля, которые обязательны к заполнению. Человеку для заполнения таких форм требуется некоторое время. Тогда как боты могут заполнять их молниеносно. Разницу можно легко вычислить. Можно просто фиксировать усредненное время, затрачиваемое на заполнение формы. Если форма заполняется быстрее, чем за усредненное время, то проверьте, не отправляют ли ее боты.
• Время между нажатием на первое поле и на кнопку отправки всегда будет больше в случае заполнения формы человеком, чем ботом, поэтому добавление рекапчи — один из лучших способов борьбы с такими ботами.
• Запрет доступа к форме, основанный на географическом положении: блокировка по географическому положению — это ограничительные меры к ботам из определенной части земного шара. Но помните, что при блокировке ботов из определенного региона блокируются и реальные пользователи, которые там находятся. Следовательно, использовать этот метод следует только в том случае, если вы считаете, что от определенного региона больше проблем, чем пользы.
• Черный список IP-адресов: это самый простой и распространенный метод защиты от ботов-спамеров. Чтобы остановить ботов-спамеров, вы можете внести один или множество IP-адресов в черный список брандмауэра, и тогда спам прекратится. Перед такой блокировкой вы можете установить для определенных IP-адресов ограничение на количество отправленных форм и блокировать эти IP-адреса, как только это ограничение будет превышено.
• Брандмауэр для веб-приложения: этот инструмент поможет вам защититься от XSS-атак и SQL-инъекций. XSS-атака — это внедрение Javascript-кода или блока кода на сайт для определенного целевого браузера, который манипулирует содержимым сайта, с целью кражи данных или файлов cookie. Аналогичным образом, SQL-инъекция представляет собой внедрение SQL-запроса в приложение. Эта инъекция помогает злоумышленнику обойти методы аутентификации и получить прямой доступ к базе данных для выполнения базовых операций с ней — создания, чтения, обновления и удаления данных (CRUD). Это очень серьезная угроза, поэтому очень важно использовать брандмауэры для веб-приложений.

Боты-спамеры в Интернете встречаются повсеместно. Остается только защищаться от них, добавляя как можно больше фильтров на свой домен, чтобы боты-спамеры больше не вредили вашему сайту. Я надеюсь, в этом руководстве вы нашли что-нибудь полезное о ботах-спамерах и способах эффективной борьбы с ними.