{"id":14276,"url":"\/distributions\/14276\/click?bit=1&hash=721b78297d313f451e61a17537482715c74771bae8c8ce438ed30c5ac3bb4196","title":"\u0418\u043d\u0432\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u043b\u044e\u0431\u043e\u0439 \u0442\u043e\u0432\u0430\u0440 \u0438\u043b\u0438 \u0443\u0441\u043b\u0443\u0433\u0443 \u0431\u0435\u0437 \u0431\u0438\u0440\u0436\u0438","buttonText":"","imageUuid":""}

Кейс: как убить сайт конкурента с помощью накрутки поведенческих факторов

Дыра в Яндексе, которая позволяет атаковать и убивать позиции сайтов, все еще не закрыта.

Сегодня расскажу:

  • о неравной борьбе клиентского сайта со злодеями, которые неоднократно подводили его под санкции;

  • как из-под них выйти;
  • почему многие сайты в зоне риска;
  • как определить атаку или накрутку поведенческих факторов (ПФ) и защититься (правда ненадежно).

Весной 2020 года начались трудные дни у накрутчиков ПФ. Сайты стали массово попадать под санкции Яндекса — полная потеря позиций и трафика. Если прочитать стенания накрутчиков на черных форумах, где покупались простейшие решения для вывода сайтов, можно увидеть, что совсем простые схемы перестали работать. И это открыло портал в ад… Уже к началу лета в профессиональном сообществе стали появляться сообщения, что под санкции попали сайты, которым ни оптимизаторы, ни владельцы ПФ не крутили, но на которых точно ходили боты от сторонних накрутчиков. Одним из таких пострадавших стал клиент «Скобеев и Партнеры».

Раунд Первый: злодей отправляет клиента в нокдаун

Как это выглядело?

В конце марта 2020 года внезапно начал сильно расти поисковый трафик. Он увеличился примерно в 4 раза:

При этом посмотрим, что было с роботностью (количеством зашедших ботов — не людей — на сайт)?

Роботность взлетела с 10% (это само по себе уже красная зона) до 40-50%. Как минимум, каждый второй посетитель определялся как бот.

Чтобы определить показатель роботности у себя, сразу под графиком в Яндекс.Метрике в отчете «Источники, сводка» кликните на кнопку «Метрики» и в поиске найдите «Роботность». Так вы увидете уровень роботности по источникам.

Обратите внимание, что сайт при этом атаковали с разных сторон:

Столь агрессивная накрутка привела к полному падению позиций. Выглядело это как постепенное угасание:

Посмотрим на данные, взятые за неделю, когда был пик переходов с поиска:

В итоге безумное количество переходов с поиска по НЧ запросам, осознанно низкое время на сайте (не более секунды), высочайший уровень отказов и, как следствие, высокая роботность.

Почему мы считаем, что действовал злоумышленник?

Рассуждаем от противного, исключая две другие версии:

Версия №1. Нагул ботов. Роботы ходят по конкретному сайту не специально, а нагуливают историю куки, чтобы выглядеть естественнее. Наверное, сейчас нет сайтов где бы не ходили боты.

Аргументы против:

  1. для естественности роботы будут проводить чуть больше времени на сайте, чтобы сделать свой профиль ближе к реальным пользователям;
  2. гуляющие боты не делают статистически значимое количество переходов, а тут мы наблюдаем рост в 4 раза!

Версия №2. Оптимизаторы/клиент сами накручивают ПФ.

Аргументы против:

  1. Одна секунда на сайте, почти 100% отказов: так никто себя не накручивает;
  2. кликать себе по контекстной рекламе?

Доказательство осознанности злоумышленника:

  1. во время второй атаки злодей использует переходы по запросам с вхождением телефона конкурента. Это либо сам конкурент, либо тот, кто его подставляет;
  2. клиентский сайт атаковали после переноса (см. ниже) на другом домене.

Что делают оптимизаторы, когда видят санкции и знают, что сайт чист? Правильно, начинают переписку с Яндексом, которая, правильно, ни к чему не приводит.

Итак, злоумышленник победил :(

Раунд Второй: мы отбиваемся

Тогда был задействован запасной план.

План Б: чтобы быстро вывести сайт из-под санкций, нужно его переклеить на другой домен.

Как это делается: 301 редирект со старого домена на новый и переклейка внутри панели Вебмастера Яндекса.

Срок: от 3 дней до 3 недель.

Кажется, все прекрасно. Однако злодей продолжает отслеживать проект и наносит следующий удар.

Раунд Третий: злодей наносит ответный удар

В этот раз противник решил налить трафика не в 3-4 раза, а более чем в 10 раз! Это привело к потере позиций и почти полному (кроме роботного) падению поискового трафика:

Точка отсчета в начале графика — это условно естественный трафик до накрутки. Дальше атакует злодей.

Оцените силу накрутки — для сравнения взяли пиковую неделю атаки по НЧ запросам (ранее по ним же могло не быть ни одного перехода в неделю).

Позиции стали немедленно проседать и полностью выпали к концу декабря.

В итоге злодей празднует не только Новый год, но и свою победу!

Раунд Четвертый: новая надежда

Мы решили купить третий домен и перенести сайт туда.

Позиции начали восстанавливаться, но уже не так, как ранее. Правда, на сайте еще много работ нужно провести под YATI, поэтому допускаем, что он еще отстал и от требований Яндекса.

Вот так выглядит трафик. Бедненько? Зато честно.

Уровень роботности на приемлемом уровне:

Раунд Пятый? Пока злодей не проявился

Чего ожидать дальше? Думаем, что, если сайт будет подвергнут атаке, он снова все потеряет. Яндекс не защитит.

Кому стоит бояться?

Не всем сайтам следует бояться атак злодеев.

Особенность данного проекта — почти полное отсутствие собственного трафика и слабое развитие сайта. Когда проект пришел к нам на продвижение, позиций не было вообще. Первой атаке он подвергся тогда, когда у него естественные позиции в ТОП-10 были от силы на протяжении 2 месяцев.

Ваш сайт в зоне риска, если у него:

  • маленький собственный трафик (до 3-5 тысяч в месяц);
  • низкая вовлеченность пользователей;
  • проект еще молодой.

Почему вы можете не увидеть ботов?

Яндекс.Метрика редко может показать роботов на сайте с десятками и сотнями тысяч посетителей в месяц. Если у вас большой проект и вы подвергнитесь атаке, скорее всего, боты даже не определятся. Хотя, возможно, у нас просто мало опыта. Если у вас от 5 тысяч посетителей в день, и вы видите роботов, и, тем более, подвергаетесь атаке, отпишитесь, пожалуйста, здесь.

Подробнее о накрутке ПФ можно посмотреть:

Резюмирую

Чтобы не потерять трафик и клиентов из Яндекса:

  1. Регулярно проверяйте есть ли атаки роботов на ваш сайт с поиска или иных источников.
  2. В случае атаки пробуйте разные способы (нет идеальных) бана этих роботов.
  3. Готовьте план Б. Если домен попал под санкции, то переезжайте на другой.

Буду рад, если общими стараниями усилим этот материал. Пишите комментарии и приводите примеры.

Удачи вам в нашем нервном труде!

0
125 комментариев
Написать комментарий...
Elena Shikova

У меня информационный сайт, на нем безжалосно нагуливают ботов переходами с социальных сетей и прямыми заходами. С поиска боты тоже ходят, но все же не в таком количестве. Переходы с соц. сетей и прямые заходы легко отфильтровать клаудфлаером, тут я писала, как это сделать https://blog.travelpayouts.com/kak-borotsya-s-botami/ кстати этот сайт тоже вставил уже защиту от бототрафика. Боты сейчас везде, крутят группы вконтакте, просмотры в ютубе, лайки в инсте. Недавно мой сайт вдруг полюбил гугл дискавери, так у меня первая мысль была, что опять ботов налили. Однако это было по-настоящему и поведенческие были в 3 раза лучше, чем из поиска. А так трафика там мало и роботность в метрике совсем не видна.

Ответить
Развернуть ветку
Turizm World

Cloudflare для российского трафика не подходит, поскольку даже на самом дорогом тарифе вам никто не гарантирует, что сайт будет обслуживаться на одном из серверов в России. Не факт, что решите вопрос с ботами, но получите естественное понижение позиций за счёт ухудшения скорости загрузки (улучшается скорость загрузки, но не для российского трафика). Кроме того, если у вас качественно оптимизированный сайт, то после перехода на Cloudflare это качество ухудшится. Будут проблемы с ленивой загрузкой, точно перестанут лениво загружаться iframe.

Cloudflare хорош для буржуйнета, плюс не факт, что Яша позитивно оценит переход на Cloudflareю Также у них в России очень мало серверов, всего два, а теперь представьте сколько вебмастеров с российским трафиком пользуются Cloudflare. На любом тарифе для части российского трафика сайт будет грузится с серверов США или Европы. Если бы Cloudflare отдельно предлагал услуги анти-бота, тогда супер, а так, возможно с ботами решишь, но получишь новые проблемы.

Пока Яша не закроет дыру в своём алгоритме толку не будет.

Ответить
Развернуть ветку
Elena Shikova

До коронакризиса у меня был трафик из русскоязычных туристов в Европе, им быстро грузилось. Обычно мой сайт грузится из Стокгольма или Франкфурта. Прямо скорость загрузки оказывает вторичное значение на ранжирование, это не первый и не самый главный фактор. И сайт у меня не супер качественно оптимизирован, с виртуальным хостингом Cloudflare не так плох.

Ответить
Развернуть ветку
Turizm World

На ранжирование скорость загрузки напрямую не влияет (правда после введения Гуглом в консоль показателей Веб Виталс ситуация может измениться по скорости), однако она 100% влияет на показатель отказов и % конверсий. У меня тоже туристический сайт, так что я в теме. Я говорил только о российском трафике.

Персонально для Вас видео! Вся Ваша затея по эффективной борьбе с ботами может плохо сказаться на сайте, как минимум в Яше: https://www.youtube.com/watch?v=CnHkhV8V3ns

Видео в тему того, что я и писал выше, что пока Яша не закроет дыру толку не будет, а последствия от борьбы могут появится!

Ответить
Развернуть ветку
122 комментария
Раскрывать всегда