Как защитить сайт от ботов: простая инструкция (вам понадобится только Cloudflare)
Подробная инструкция по настройке Клаудфлэр, которая позволит отсекать от 70 до 99% поведенческих ботов. Многие агентства надувают щёки, типа «мы вам настроим Cloudflare за 100500 денег», я расскажу, как это сделать самому и бесплатно.
Накрутка поведенческих факторов вышла уже куда-то совсем в бесконтрольное пространство. Как только сайт занимает хоть немного топ Яндекса по коммерческим запросам, на него сразу налетают толпы ботов. Как я понимаю, это называется «нагуливать» статистику. Что они там на самом деле нагуливают — скорее всего, никому неизвестно. У меня в метрике есть на наблюдении несколько сайтов, которые я побоялся бы палкой тыкать, не то что со своего браузера заходить: помойки спамные, сайты под фильтрами и т.д. И на них всегда тусуются вот эти вот ребята, которые в метрике видны как «Переходы из Яндекса». Куда они потом эту статистику утаскивают, а главное, зачем?
Ладно, это эмоциональное вступление, переходим к делу. Вам понадобится бесплатный аккаунт Cloudflare, как регистрировать и привязывать к хостингу — все знают, не буду останавливаться на этом.
Далее нужно настроить правила фильтрации. В бесплатном тарифе доступно всего 5 правил, но нам больше и не понадобится. Нажимаем вот сюда:
Правила добавляем такие:
Сначала пропускаем ботов Яндекс и Гугл
Пропускаем запросы со своего хостинга (обязательный пункт! иначе почта, крон и прочие сервисы сломаются)
Блокируем ненужные страны
Блокируем известных ботов
Блокируем зловредных неизвестных ботов
1. Вот как пропустить ботов Гугл, Яндекс:
Нажимаем Edit Expression, вставляем такую команду:
Нажимаем Use expression builder, выбираем действие SKIP и проставляем все галочки, нажимаем Deploy.
2. Пропускаем запросы со своего хостинга.
Здесь вам понадобится узнать IP адрес или его ASNUM, если не знаете как - спросите в техподдержке хостинга. И заодно пропускаем все запросы к wp-cron.php, если у вас Вордпресс. Так же через Expression builder вставляем команду.
Пример:
Нажимаем Use expression builder, выбираем действие SKIP и проставляем все галочки, нажимаем Deploy.
3. Блокируем ненужные страны и известных ботов.
Поскольку правил всего 5, а ботов много - я раскидал их на 2 правила, чтобы уместиться в лимит. Страны поменяйте соответственно под свой сайт: в моём примере блокируется Болгария, а вам это может быть не нужно.
Часть 1:
Нажимаем Use expression builder, выбираем действие BLOCK, нажимаем Deploy.
Используем следующее правило, вставляем часть 2:
Нажимаем Use expression builder, выбираем действие BLOCK, нажимаем Deploy.
4. Самая мякотка: блокируем зловредных ботов.
Большинство из них не использует ssl или заходит со странных ip адресов. Инструкцию подсмотрел на сайте partnerkin.com и честно стырил оттуда. Вот команда:
Если очень много ботов попадает через прямые заходы, тогда добавляем ещё такую команду:
Всем посетителям без реферера, т. е. обычным пользователям, которые заходят на сайт напрямую, будет выдаваться капча. Смотрите сами по ситуации, стоит это применять или нет.
Выбираем действие Choose action: Managed Challenge, нажимаем Deploy.
Всё, вы круче, чем кулхацкер! Эти настройки позволяют отсекать до 99% ботов, но, к сожалению, некоторые всё равно могут пролезть.
Всем хорошего сео, подпишись, поставь лайк, колокольчик, комментарий, донат, патреон, ссылка в описании!
Дорогой Микаэль! Не совсем понимаю ваш вопрос. Дело в том, что вы спрашиваете в терминах Яндекс-метрики: "роботность", "внутренние заходы". Но ведь у вас на сайте может не быть вообще никакого сервиса от Яндекса, совсем никакого.
Независимо от этого итог должен быть такой, как заявлено в лиде статьи: "отсечение от 70 до 99% поведенческих ботов". Вы это увидите по серверным логам.
Я даю гарантию на заявленный результат. Если ваш результат отличается — пожалуйста, напишите мне личное сообщение, и я верну вам все деньги, которые вы заплатили за прочтение бесплатной статьи по настройке бесплатного сервиса Cloudflare.
Спасибо за комментарий, искренне ваш, Вениамин Дублин.
Здравствуйте! Второй пункт не поняла. У моего домена есть привязка к IP адресу. Это оно? Вы пишите следующее: (ip.geoip.asnum eq 22612) or (ip.geoip.asnum eq 62371) or (ip.geoip.asnum eq 47583)
А как с IP запись должна выглядеть?
Буду благодарна за помощь.
Если бы Cloudflare был так хорош, его бы использовали все - и проблемы накрутки поведенческих мало б кого волновали. Жаль, что при написании подобных инструкций не учитываются минусы сервиса.
дяденька, у меня ГОДАМИ работают сайты на связке ворпдресс+клауд+сервер в канаде (юса, европа, что угодно), без нареканий от пользователей и яндекса, о чём вы 😂
Зачем они к вам прибегают? скажите, чтобы ко мне бегали 😂
нареканий от пользователей и яндекса там быть и не должно (если не считать возможного увеличения загрузки страниц). А сервисы аналитики с ним работают из рук вон плохо. Если есть решение таких проблем, то велком в студию))).
какая студия, какая аналитика? не понимаю, о чём вы вообще говорите. Если у вас какие-то проблемы с аналитикой в студиях - может быть, вы напишете статью об этом? Я уверен, всем будет интересно почитать 👍 потому что у меня нет вообще никаких проблем, 0, zero 😂
так вы поясните нам, невникающим, в чём суть? Я чувствую, вы что-то хотите сказать, но словами выразить не можете. У предыдущего комментатора была претензия по скорости, что клауд даёт задержку аж 10 секунд. Я на скирншоте из живого проекта показываю, что такой проблемы нет.
А ваша-то проблема в чём? Нам же правда интересно, а вы как-то вокруг да около ходите, делая многозначительные намёки. Может быть пора уже клауд сворачивать? Вы скажите, я им сразу письмо напишу, чтобы закрывались 😂
Вениамин, благодарю за твой вариант настроек. Вопрос: ты ставишь в СКИП все галки, я ставлю только первую. Зачем все? Что они в итоге делают? Спасибо за ответ.
Проблема в том, что боты выполняют свои задачи на вашем сайте и на вас и на сайт им наплевать. Могут ПФ крутануть не туда, могут перегрузить хост, как вариант.
Эти боты не вредят. Просто существуют. Ваша инструкция - как лечить рак содой.
Если посмотреть в вебвизоре, то эти боты тупые реально, могут абзац читать 7 минут. Яндекс, для которого это все создано, понимает, что такое поведение ненормально и посылает на страницу толокеров.
Итог: проблема не существенна. Но ваши советы заблочат 30% живых пользователей.
Артур, вы уверены в том, что пишите? Во первых инструкция не моя. Второе, как можно сравнить конкретную задачу - устранение ботов с псевдонаучными медицинскими практиками!? ПФ не может перегрузить ибо это фактор и бот не может, если он 1, а 100 в минуту ваш хостинг переварит? Не говоря о влиянии ПФ на сайт.
Заголовок не соответствует содержанию. Этот набор к поведенческим ботам вообще никакого отношения не имеет.
К сканерам парсерам да, по HTTP1 часть ходит.
А поведенческие по HTTP2.
Какой должен быть итог кроме снижения роботности и ухода части ботов из прямых заходов во внутренние?
Дорогой Микаэль! Не совсем понимаю ваш вопрос. Дело в том, что вы спрашиваете в терминах Яндекс-метрики: "роботность", "внутренние заходы". Но ведь у вас на сайте может не быть вообще никакого сервиса от Яндекса, совсем никакого.
Независимо от этого итог должен быть такой, как заявлено в лиде статьи: "отсечение от 70 до 99% поведенческих ботов". Вы это увидите по серверным логам.
Я даю гарантию на заявленный результат. Если ваш результат отличается — пожалуйста, напишите мне личное сообщение, и я верну вам все деньги, которые вы заплатили за прочтение бесплатной статьи по настройке бесплатного сервиса Cloudflare.
Спасибо за комментарий, искренне ваш, Вениамин Дублин.
А если у меня отсечется только 69% ботов? Получается текст ерунда?
да, все именно так и работает
Здравствуйте! Второй пункт не поняла. У моего домена есть привязка к IP адресу. Это оно? Вы пишите следующее: (ip.geoip.asnum eq 22612) or (ip.geoip.asnum eq 62371) or (ip.geoip.asnum eq 47583)
А как с IP запись должна выглядеть?
Буду благодарна за помощь.
Если бы Cloudflare был так хорош, его бы использовали все - и проблемы накрутки поведенческих мало б кого волновали. Жаль, что при написании подобных инструкций не учитываются минусы сервиса.
Комментарий недоступен
дяденька, у меня ГОДАМИ работают сайты на связке ворпдресс+клауд+сервер в канаде (юса, европа, что угодно), без нареканий от пользователей и яндекса, о чём вы 😂
Зачем они к вам прибегают? скажите, чтобы ко мне бегали 😂
нареканий от пользователей и яндекса там быть и не должно (если не считать возможного увеличения загрузки страниц). А сервисы аналитики с ним работают из рук вон плохо. Если есть решение таких проблем, то велком в студию))).
какая студия, какая аналитика? не понимаю, о чём вы вообще говорите. Если у вас какие-то проблемы с аналитикой в студиях - может быть, вы напишете статью об этом? Я уверен, всем будет интересно почитать 👍 потому что у меня нет вообще никаких проблем, 0, zero 😂
значит, просто не вникали и не сталкивались)
так вы поясните нам, невникающим, в чём суть? Я чувствую, вы что-то хотите сказать, но словами выразить не можете. У предыдущего комментатора была претензия по скорости, что клауд даёт задержку аж 10 секунд. Я на скирншоте из живого проекта показываю, что такой проблемы нет.
А ваша-то проблема в чём? Нам же правда интересно, а вы как-то вокруг да около ходите, делая многозначительные намёки. Может быть пора уже клауд сворачивать? Вы скажите, я им сразу письмо напишу, чтобы закрывались 😂
он не так хорошо, он ещё лучше 😂
Вениамин, благодарю за твой вариант настроек. Вопрос: ты ставишь в СКИП все галки, я ставлю только первую. Зачем все? Что они в итоге делают? Спасибо за ответ.
Автор, это не первая инструкция на виси про СФ. Вы решили проблему, но в чем сама проблема не описали.
Зашел бот покрутить ПФ - и что?
Проблема в том, что боты выполняют свои задачи на вашем сайте и на вас и на сайт им наплевать. Могут ПФ крутануть не туда, могут перегрузить хост, как вариант.
ПФ не может перегрузить хост: это не ддос.
Эти боты не вредят. Просто существуют. Ваша инструкция - как лечить рак содой.
Если посмотреть в вебвизоре, то эти боты тупые реально, могут абзац читать 7 минут. Яндекс, для которого это все создано, понимает, что такое поведение ненормально и посылает на страницу толокеров.
Итог: проблема не существенна. Но ваши советы заблочат 30% живых пользователей.
Артур, вы уверены в том, что пишите? Во первых инструкция не моя. Второе, как можно сравнить конкретную задачу - устранение ботов с псевдонаучными медицинскими практиками!? ПФ не может перегрузить ибо это фактор и бот не может, если он 1, а 100 в минуту ваш хостинг переварит? Не говоря о влиянии ПФ на сайт.
Заголовок не соответствует содержанию. Этот набор к поведенческим ботам вообще никакого отношения не имеет.
К сканерам парсерам да, по HTTP1 часть ходит.
А поведенческие по HTTP2.
Отличные рекомендации, настроил и сервер задышал!