【Защита от ботов 🤖】. Мои ТОП-3 сервиса как заблокировать ботов на сайте

Как провести эффективную рекламную компанию, не слить позиции сайта и бюджет клиента? Как отличать атаки ботов от наплыва реальных клиентов и научиться им противостоять.

Привет, меня зовут Андрей. Уже много лет работаю с трафиком из сео и контекста и сталкивался со многими недобросовестными способами конкуренции. Я знаю о внутрянке этой сферы из личного опыта, а не из вебинаров с красивыми названиями.

В этой статье я расскажу, как боты вредят вашему бизнесу и как с ними бороться. Мы рассмотрим различные методы и инструменты, которые помогут эффективно защитить ваш сайт от ботов, повысить эффективность рекламных кампаний.

КРАТКИЙ список инструментов для борьбы с ботами:
Первый уровень защиты это Cloudflare - изначально это защита от ddos атак, но так же этот сервис позволяет отсекать простых ботов, которые сканируют интернет, собирают информацию и т.п. Этот сервис НЕ ПОМОЖЕТ от поведенческих ботов, которые накручивают ПФ или от склика в рекламных системах (Яндекс.Директ, ВК и т.п.). Клауд Флара это первый и базовый этап защиты.
Второй уровень защиты: Антибот, кликфрауд, клинтолк и т.п. - это сервисы для тонкой настройки и борьбы с ботами, которые притворяются реальными юзерами. У каждого сервиса свои цели и проверка на "ботность" своя:
- у антибота цель борьба с ПФ ботами, которые накручивают пустые заходы по 5-10 секунд. Для проверки нужно нажать на кнопку или выбрать рисунок (своя captcha).
- у клик фрауд - задача борьба со скликом в Директе. Есть проверка через капчу и тихая проверка незаметная для пользователей. Если вам нужно бороться со скликиванием, то это оно
- у клин толк - пожалуй, самая простая их всех защит среди конкурентов. Также борется с ботами, есть проверка через капчу.

Резкий рост числа посетителей сайта не всегда ведет к росту продаж. Очень часто это является признаком атаки ботов и спамеров. Почему это плохо? Растут только просмотры, а вот позиции сайта, рекламный бюджет, количество реальных заявок и все старания по продвижению сайта стремительно летят “в трубу”.

Защита сайта от ботов – это одна из актуальных проблем , с которой сталкиваются владельцы веб-ресурсов и специалисты по контекстной рекламе. Интернет буквально кишит разнообразными ботами, способными негативно влиять на безопасность сайта и позиции сайта в поиске. Также эти боты искажают реальную картину воронки продаж за счёт того, что могут исполнять фейковые цели по нажатию на почту, телефон и заполнение фр, искажать аналитические данные.

Чем опасны боты на сайте?
Виды ботов.
Как защититься от ботов?
a) Аntibot
b) CleanTalk
c) Clickfraud.ru
💥💥💥 Примеры настроек для защиты от ботов на Cloudflare и Antibot
a) cloudflare
b) antibot
FAQ

Боты - часть современного Интернета. Убрать их совсем не получится, да и нет в этом необходимости. Бот – это программа, которая создана, чтобы выполнять однотипные и повторяемые задачи по определенному алгоритму. Она экономит время людей беря на себя рутинные функции, а работает через интерфейсы со скоростью, которая намного выше человеческой.

Проблема в том, что с помощью ботов можно парсить данные с вашего сайта, искажать аналитику и вредить рекламной компании. Боты могут воровать тексты и фотки с сайта; спамить в формы обратной связи; анализировать ваш контент (ключевые слова, плотность ключей) с целью обойти вас в seo; искать уязвимости на сайтах, чтобы взломать;

Ботов активно используют для скликивания вашей рекламы (у меня есть отдельная статья на эту тему).

Существуют специальные боты для накрутки поведенческих факторов (они имитируют действия реальных пользователей на сайте, нарушая его работу). Боты могут ронять позиции вашего сайта в поиске и накручивать рейтинг сайту ваших конкурентов.

Боты бывают разных видов, но их цель одна - навредить работе вашего сайта и украсть ваши данные. Защищаться от них на 100% нельзя, но минимизировать их вред можно. Какие боты могут посещать ваш сайт и какие у этого могут быть последствия?

Поисковые боты (краулеры). Они индексируют веб-страницы для поисковых систем, чтобы пользователи могли найти нужную информацию. Не несут вреда вашему сайту, скорее, помогают. Именно с именно с их помощью осуществляется SEO-продвижение сайта и приток трафика из поисковиков.
Социальные медиа-боты. Эти боты автоматически публикуют или комментируют контент в социальных сетях. Они могут быть использованы для автоматизации маркетинга или распространения спама. В зависимости от цели, могут как навредить, так и помочь (при правильном использовании)
Сканеры и анализаторы. Сканируют сайты для поиска уязвимостей в безопасности. Некоторые могут быть использованы для обнаружения слабых мест и последующих атак. Некоторые боты ищут архивы ваших сайтов для их копирования не стоит называть архив с сайтом backup.rar в корне сайта :)
Спам-боты. Отправляют спам-сообщения по электронной почте, комментируют блоги и форумы с рекламой или злонамеренными ссылками.
Веб-скраперы. Эти боты собирают данные с веб-сайтов для аналитики, исследований или конкурентного анализа. С помощью этих ботов ваши конкуренты могут получить данные по ценам, фотографиям и товарному ассортименту вашего сайта. Сюда же относятся боты, которые ищут дубликаты фотографий с целью последующего судебного преследования нарушителей. Сюда же - боты для подготовки досудебных претензий, в общем много разных ботов существует :)
DDoS-боты. Боты, используемые для DDoS-атак. Их цель - перегрузить сервер, делая сайт недоступным.
Мониторинговые боты. Они отслеживают изменения на сайтах, например, цены на товары, тексты на сайтах, и отправляют уведомления.

Как я писал выше, полностью защититься от ботов нельзя, ведь среди них есть и полезные, и “безобидные”. Но отсекать бесполезных ботов все таки стоит.

Главное, не перестараться и не заблокировать вообще всех, превратив свой сайт в неприступную крепость как для ботов, так и для реальных клиентов. Тут стоит руководствоваться буквально медицинским принципом: “не навреди”.

Защита от ботов начинается с отслеживания нежелательного трафика. Нежелательный трафик - это запросы, которые приходят от агентов с одинаковым запросом, регионом, часовым поясом и размером экрана, которые приходят с одного и того же IP. Их можно смело блокировать.

Не все запросы от ботов могут приходить с одинакового IP-адреса. Обычно боты используют сеть прокси, таким образом осуществляя распределенный парсинг. Если даже с разных серверов поступают одинаковые запросы, скорее всего это повод для блокировки.

Делать это можно вручную, или с помощью специальных сервисо, которые указаны ниже. Идеальным вариантом будет комплексный подход: делать, что можешь своими руками, подключать сервисы, подключать специалистов.

Специальный скрипт защиты сайтов от плохих ботов: защищает от накрутки поведенческих, снижает нагрузку на сервер, защищает от спама, хакерских атак, сканирования уязвимостей, парсеров, атак брутфорса, прокси-серверов, защищает контент от кражи.

Цены:

Цены варьируются от 10$ до 200$, в зависимости от тарифа и срока подписки. Понятный и рабочий сервис для отслеживания и блокировки нежелательного трафика.

【Защита от ботов 🤖】. Мои ТОП-3 сервиса как заблокировать ботов на сайте

CleanTalk - это облачный сервис фильтрации спама, который позволяет защитить ваш сайт от спама. CleanTalk обеспечивает защиту от спама, которая незаметна для посетителей без использования капчи или других методов, когда посетители должны доказать, что они реальные люди.

Цены:

От 8$ в год, до 25$ в месяц. Зависит от пакета и от количества сайтов, которым необходима защита.

Алгоритмы системы выявляют ботов, добавляют в общую базу роботов и отключают им показ вашей рекламы. Также используется единая база клиентов.

Цены:

Каждый тариф рассчитан на определенное количество посетителей.

Нужна помощь с установкой сервиса? Обращайтесь за консультацией.

Настройки для cloudflare

Надо сразу уточнить - это настройки я использую для pbn и второстепенных сайтов для RU трафика. Эти настройки не помогут избавиться от поведенческих ботов или скликивания. Но эти настройки пустят на сайт RU трафик напрямую без проверки, а для всех остальных стран будет проверка через капчу:

Нулевое правило с проверкой Interactive Challenge для RU хостинг провайдеров, чтобы избавиться от сканирования русскими ботами:

(ip.geoip.asnum in {29182 24940 43317 57531 213220 49505 44812 41864 201848 35237 211183 35048 39238 204916 9198 56971 7922 62651 49461 43966 136907 14061 16509 21413 50867 60781 201186 49063 397086 49581}) or (ip.src in {5.164.193.78 62.113.98.116 31.129.111.23 45.84.224.217 62.113.100.186 45.84.225.140 62.113.99.41 })

Первое правило с проверкой SKIP для хороших поисковых ботов, чтобы они получили прямой доступ на сайт:

(http.user_agent contains "Mail.RU_Bot") or (http.user_agent contains "Googlebot") or (http.user_agent contains "yandex.com") or (http.user_agent contains "bingbot") or (http.user_agent contains "Google-Site-Verification") or (http.user_agent contains "Google-InspectionTool")

Второе правило для плохих НЕ RU ботов с проверкой Interactive Challenge (ваш сайт должен работать на HTTPS!):

(not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (cf.threat_score ge 5) or (not ip.geoip.country in {"RU"})

Третье правило - пускаем всех оставшихся RU посетителей:

(ip.geoip.country in {"RU"})

Правила добавляются в настройках конкретного сайта в ЛК флары в разделе Security -> WAF. Их нужно добавлять именно в том порядке, как указаны выше.

Сначала: смотреть за трафиком и показателями в Метрике по разным сегментам - есть ли аномальный рост пустых кликов, рост отказов, что с конверсией. Лучше включить отображение ip в Яндекс.Метрике
Для обычной базовой защиты включить cloudflare.
Для продвинутой защиты или когда идет целенаправленная атака ботами включить дополнительно к фларе еще и антибот.
Для защиты от скликивания подключить сбор ботов в сегмент Я.Директа и заблокировать им доступ к рекламе. Это можно сделать через clickfraud или botfaqtor (проще) или antibot (сложнее).
Включите капчу на страницах с важными действиями, такими как нажатия на рекламу или заполнение форм. CAPTCHA помогает отсечь автоматизированные боты.
Используйте аналитику для отслеживания необычного поведения пользователей. Например, если вы видите большое количество кликов с одного IP-адреса в короткий период времени, это может быть признаком ботов и скликивания.
Создайте черные списки для исключения через Аудитории в Яндекс.Директ.
Воспользуйтесь услугами специальных сервисов выше.

Для того, чтобы рекламная кампания приносила прибыль, а боты не мешали работе вашего ресурса, важно учесть некоторые нюансы в настройке сервисов. Но тут снова как в медицине: каждый случай индивидуален.

Хотите защитить рекламу от скликивания а сайт от ботов? Обращайтесь за консультацией.

Не все вопросы можно решить самостоятельно и в одиночку. Поэтому не стесняйтесь задавать вопросы, обращаться за консультацией и писать комментарии. Рад быть полезен.

Вопрос: Чем еще поможет блокировка ботов?
Ответ: Скорее всего у вас в разы упадет нагрузка на хостинг (привет reg.ru, который разом заблокировал все мои сайты на хостинге за превышение нагрузки из-за чего потом были проблемы с seo). Сайт будет защищен от взлома. Не будет приходить спам в формы обратной связи. Сеошникам конкурентов будет сложнее анализировать ваш сайт. В общем сплошные плюсы :)