Ответ на пост «Накрутки поведенческих факторов»

Не так давно был размещен пост про накрутку поведенческих факторов, как работает механизм и главное — как "топят" честные сайты в выдаче. В комментариях было много откликов об отрицательном влиянии этого процесса на сайты, о том, как падает посещаемость после нашествия ботов. Удивило, что даже опытные СЕОшники дают вредные советы по борьбе с ботами. Сейчас я расскажу и покажу, как мы это сделали.

Мы не занимаемся SEO продвижением для клиентов, ведем только свои проекты. Началось все с роста посещаемости одного из главных сайтов, потом перенеслось на все посещаемые - пример, в первые несколько дней смотрели и радовались популярности. Присмотревшись, поняли, что посещаемость выросла у страниц, семантика которых не может дать рост с 6 посещений до 200 в день:

Вот так выросла посещаемость несколько мертвых до этого статей:

Основной трафик этих статей был с таких источников:

1. Смартфоны и планшеты - 90 %. Среднее время просмотра страницы - 29 секунд, глубина просмотра - 1,09;

2. ПК - 10 %. Время просмотров - 2,1, глубина просмотра - 1,9

Сразу стало понятно, кто-то крутит нам посещаемость. Не самое приятное чувство узнать, что придется опять защищать ресурсы от атак (а такое случается раз в полгода, из-за конкурентности ниш и стоимости кликов в директе на аналогичные запросы по 500 р.).

Всего несколько характеристик:

1. Малое время пребывания на сайте, но больше 15 секунд, чтобы быть зафиксированным метрикой Яндекса;

2. Действия в Вебвизоре Яндекс.Метрики - подергивание курсора, просмотр 1 и 2 экрана сайта;

3. Прямые заходы на сайт, переход из соц. сетей;

4. Большая часть посетителей - пользователи смартфонов и планшетов.

Через две недели, после того, как мы заметили наплыв ботов, началось резкое падение позиций и трафика в поиске Яндекс. Google не изменился, но и давал всегда 15-20 % от общего трафика посещений.

В выдаче можно найти много статей по аналогичным проблемам - накрутка ботами, падение трафика, ухудшение поведенческих факторов.

Очень много дают советов, мы почти все перепробовали. Вот несколько самых популярных:

1. Ограничение по IP или подсети

Боты постоянно меняют прокси, используют разные подсети, сотовые операторы, и прочее. Когда мы включили фильтры по всем ботам, отрезало половину хорошего трафика.

Действие больше вредит, чем приносит пользы.

2. Установка Антиботов

Попробовали все возможные антиботы, плагины антиботов, сервисы - русскоязычные, англоязычные.

Все они не дают никакого результата. Ну как никакого - настройки одного антибота выкрутили на максимум, из-за чего Капча показывалась каждому вошедшему на сайт, что привело к еще большему падению поведенческих факторов.

Мы отказались от этих инструментов, потому что ни один сервис антибота не может нормально определять ботов. Если это не способен Яндекс с его миллиардами, то антиботы показали вообще нулевую эффективность.

3. Переклейка домена на другой адрес

Вообще без комментариев, такой бред делать с трастовым доменом с многолетней историей, кучей естественных ссылок - рука не поднимется.

4. Лить своих ботов на сайт

Черное SEO, как и серое, путь в никуда. Начнешь делать это и все - дальше дорога будет через бесконечные костыли, пока не улетишь в бан. С дорогими проектами такое делать нельзя, ведь каждый сайт - это инвестиции, которые нужно защищать, а не топить.

5. Писать Платонам.

Самое бесполезное, что можно сделать в текущей ситуации. Мы тоже написали, вреда не принесло и ладно.

Изначально было понятно, что нужно тестить Cloudflare, смотреть разные настройки, усиливать Firewall. Это не реклама, а единственный инструмент, который у нас сработал.

Но так как мы никогда не работали с Cloudflare, сначала пытались найти специалиста, который сможет помочь. Я написал, наверное, половине Fl, спрашивая про нужные мне настройки на сервисе и результат, к которому хотелось бы прийти. Ответов по теме - 0, если не считать людей, которые хотели попробовать что-то там сделать за 500 баксов, но без гарантии результата.

В итоге, методом "тыка" и тестированием разных гипотез, мы выработали простой алгоритм, который сможет повторить любой на бесплатном тарифе Cloudflare.

Основная гипотеза строилась на ограничении доступа мобильных ботов.

Что нужно делать:

- Заводим аккаунт, регистрируемся, выбираем бесплатный начальный тариф, переводим DNS на Cloudflare ;

- В Firewall делаем сследующие настройки:

Суть в чем: при входе с Android и Iphone пользователю выходит капча, которая фильтрует ботов. Боты ее не могу обойти, она двух-шаговая и в целом - сложная.

Дополнительно:

Здесь мы пускаем полезных ботов Яндекса и Google без капчи. Они ее тоже не могут обойти. Даже если это Fake Bot, все равно пускаем, нам не так опасны они, как блок полезных ботов.

Все дело в том, что у нас контентный проект, и на нем нет прямых мобильных пользователей, а для перехода с Яндекса работают Турбо страницы, с Google - AMP страницы. Мы изначально не боялись ограничивать пользователей, так как большинство приходили именно на эти элементы, а борьба была направлена на прямой трафик.

Все боты проходят через Clouflare, хороших пользователей при этом не больше 2-3%.

Позиции вернулись. Трафик вырос на 10 % к докризисному уровню. Сейчас почти все боты фильтруются CLoudFlare.

Количество этих ботов не уменьшается, что говорит о целенаправленной работе, которую и не думают останавливать.

При трафике 5000-6000 тысяч в день фильтруется:

Может показаться, что мы фильтруем еще и хороших пользователей, которым лень заполнять капчу. Статистика по решенной капче в день:

В итоге только 26 решенных капч на Android и 17 на Iphone. Ничтожно мало, чтобы переживать о падении поведенческих факторов из-за этого инструмента.

Ставьте себе Firewall, делайте правильные настройки и блокируйте вредный трафик. Даже для проекта, где супер поведенческие факторы и только естественное продвижение, нужно вовремя реагировать на проблемы и действия со стороны, не говоря уже про постоянное улучшение и оптимизацию своей работы.

Мы надеемся, что наш опыт будет полезен для всех web-мастеров, кто столкнулся с проблемой нашествия ботов и негативными последствиями такого вредительства. Инструмент реально работает! - проверено на личном опыте.