Не так давно был размещен пост про накрутку поведенческих факторов, как работает механизм и главное — как "топят" честные сайты в выдаче. В комментариях было много откликов об отрицательном влиянии этого процесса на сайты, о том, как падает посещаемость после нашествия ботов. Удивило, что даже опытные СЕОшники дают вредные советы по борьбе с ботами. Сейчас я расскажу и покажу, как мы это сделали.
Начало: резкий скачок посещаемости в декабре 2020
Мы не занимаемся SEO продвижением для клиентов, ведем только свои проекты. Началось все с роста посещаемости одного из главных сайтов, потом перенеслось на все посещаемые - пример, в первые несколько дней смотрели и радовались популярности. Присмотревшись, поняли, что посещаемость выросла у страниц, семантика которых не может дать рост с 6 посещений до 200 в день:
Вот так выросла посещаемость несколько мертвых до этого статей:
Основной трафик этих статей был с таких источников:
1. Смартфоны и планшеты - 90 %. Среднее время просмотра страницы - 29 секунд, глубина просмотра - 1,09;
2. ПК - 10 %. Время просмотров - 2,1, глубина просмотра - 1,9
Сразу стало понятно, кто-то крутит нам посещаемость. Не самое приятное чувство узнать, что придется опять защищать ресурсы от атак (а такое случается раз в полгода, из-за конкурентности ниш и стоимости кликов в директе на аналогичные запросы по 500 р.).
Как определили ботов:
Всего несколько характеристик:
1. Малое время пребывания на сайте, но больше 15 секунд, чтобы быть зафиксированным метрикой Яндекса;
2. Действия в Вебвизоре Яндекс.Метрики - подергивание курсора, просмотр 1 и 2 экрана сайта;
3. Прямые заходы на сайт, переход из соц. сетей;
4. Большая часть посетителей - пользователи смартфонов и планшетов.
Падение позиций и трафика
Через две недели, после того, как мы заметили наплыв ботов, началось резкое падение позиций и трафика в поиске Яндекс. Google не изменился, но и давал всегда 15-20 % от общего трафика посещений.
Что пробовали делать
В выдаче можно найти много статей по аналогичным проблемам - накрутка ботами, падение трафика, ухудшение поведенческих факторов.
Очень много дают советов, мы почти все перепробовали. Вот несколько самых популярных:
1. Ограничение по IP или подсети
Боты постоянно меняют прокси, используют разные подсети, сотовые операторы, и прочее. Когда мы включили фильтры по всем ботам, отрезало половину хорошего трафика.
Действие больше вредит, чем приносит пользы.
2. Установка Антиботов
Попробовали все возможные антиботы, плагины антиботов, сервисы - русскоязычные, англоязычные.
Все они не дают никакого результата. Ну как никакого - настройки одного антибота выкрутили на максимум, из-за чего Капча показывалась каждому вошедшему на сайт, что привело к еще большему падению поведенческих факторов.
Мы отказались от этих инструментов, потому что ни один сервис антибота не может нормально определять ботов. Если это не способен Яндекс с его миллиардами, то антиботы показали вообще нулевую эффективность.
3. Переклейка домена на другой адрес
Вообще без комментариев, такой бред делать с трастовым доменом с многолетней историей, кучей естественных ссылок - рука не поднимется.
4. Лить своих ботов на сайт
Черное SEO, как и серое, путь в никуда. Начнешь делать это и все - дальше дорога будет через бесконечные костыли, пока не улетишь в бан. С дорогими проектами такое делать нельзя, ведь каждый сайт - это инвестиции, которые нужно защищать, а не топить.
5. Писать Платонам.
Самое бесполезное, что можно сделать в текущей ситуации. Мы тоже написали, вреда не принесло и ладно.
Настройка Cloudflare
Изначально было понятно, что нужно тестить Cloudflare, смотреть разные настройки, усиливать Firewall. Это не реклама, а единственный инструмент, который у нас сработал.
Но так как мы никогда не работали с Cloudflare, сначала пытались найти специалиста, который сможет помочь. Я написал, наверное, половине Fl, спрашивая про нужные мне настройки на сервисе и результат, к которому хотелось бы прийти. Ответов по теме - 0, если не считать людей, которые хотели попробовать что-то там сделать за 500 баксов, но без гарантии результата.
В итоге, методом "тыка" и тестированием разных гипотез, мы выработали простой алгоритм, который сможет повторить любой на бесплатном тарифе Cloudflare.
Основная гипотеза строилась на ограничении доступа мобильных ботов.
Что нужно делать:
- Заводим аккаунт, регистрируемся, выбираем бесплатный начальный тариф, переводим DNS на Cloudflare ;
- В Firewall делаем сследующие настройки:
Суть в чем: при входе с Android и Iphone пользователю выходит капча, которая фильтрует ботов. Боты ее не могу обойти, она двух-шаговая и в целом - сложная.
Дополнительно:
Здесь мы пускаем полезных ботов Яндекса и Google без капчи. Они ее тоже не могут обойти. Даже если это Fake Bot, все равно пускаем, нам не так опасны они, как блок полезных ботов.
Почему мы решили выдать капчу всем пользователям мобильных устройств?
Все дело в том, что у нас контентный проект, и на нем нет прямых мобильных пользователей, а для перехода с Яндекса работают Турбо страницы, с Google - AMP страницы. Мы изначально не боялись ограничивать пользователей, так как большинство приходили именно на эти элементы, а борьба была направлена на прямой трафик.
Результат настроек
Все боты проходят через Clouflare, хороших пользователей при этом не больше 2-3%.
Позиции вернулись. Трафик вырос на 10 % к докризисному уровню. Сейчас почти все боты фильтруются CLoudFlare.
Количество этих ботов не уменьшается, что говорит о целенаправленной работе, которую и не думают останавливать.
При трафике 5000-6000 тысяч в день фильтруется:
Может показаться, что мы фильтруем еще и хороших пользователей, которым лень заполнять капчу. Статистика по решенной капче в день:
В итоге только 26 решенных капч на Android и 17 на Iphone. Ничтожно мало, чтобы переживать о падении поведенческих факторов из-за этого инструмента.
Вывод
Ставьте себе Firewall, делайте правильные настройки и блокируйте вредный трафик. Даже для проекта, где супер поведенческие факторы и только естественное продвижение, нужно вовремя реагировать на проблемы и действия со стороны, не говоря уже про постоянное улучшение и оптимизацию своей работы.
Мы надеемся, что наш опыт будет полезен для всех web-мастеров, кто столкнулся с проблемой нашествия ботов и негативными последствиями такого вредительства. Инструмент реально работает! - проверено на личном опыте.
Мало данных для выводов.
Начать с того, что вы заблочили первую волну ботов, фактически безопасную. Она ещё никого не скликивает, это пока про нагул фингерпринтов.
Отсев коснулся только мобильных проксей. А если прокси ПК будут использовать? А их используют не менее широко. Как бота отличите?
Почему падение позиций связали с ботами? 2 недели тут вообще не срок, слишком мало. А в вашем случае и метрики никакие не зарезались, включая last click - к вам напрямую и с реферером соцсетей шли, не с выдачи.
А с выдачей-то как? Срезать трафик, который генерит по какому-то алгоритму какой-то софт можно, но далеко не всегда. Нет глобального способа.
Единственный вариант - это если Яндекс наберет какую-то сетевую стату глобально.
Cloud Flare попробовать можно в любом случае, в некоторых это может быть полезно. Но как общее средство - хм. Остаётся проблема last click. Кроме того, капчи и промежуточные экраны проверки могут здорово сказаться на коммерческих сайтах и конверсии. В этом случае тогда уж другие системы антифрода стоит попробовать. На "Сёрче" глобальная тема, рекомендую к изучению.
Большинство популярных советов из этой темы я описал, там вроде появились новые от создателя антибота с правками в код скрипта, не могу сказать, не тестил. Как раз этот антибот и портил все своим промежуточным экраном.
Время реакции Яндекса на изменения сейчас в среднем две недели, у нас пик падения был через месяц - трафик упал в два раза. Еще через месяц вернулся полностью с ростом.
Какие еще данные нужны, сколько нужно было ждать?) Я видел в теме отклики, что через 2-3 месяца у людей падение было 90%.
Тут как минимум графики по CTR позапросно надо в вебмастере смотреть. 2 недели - слишком мало, как по мне. Ну да, ПФ, кажется, раз в 5 дней апаются, но кроме ПФ слишком много факторов для пересчёта - тут позиции и на "бандите" могут плавать.
У вас по сайту, кстати, по общим факторам много недоработок - хотя бы на уровне структуры. Это может здорово влиять на колебания и без залетной ботовни.
По моей практике в негативе сайты раньше 3-6 месяцев не валятся, даже если долбят направленно, срезают CTR и лепят увеличение возвратов на выдачу.
Не пойму, при чем тут структура сайта. Чтобы так просесть, нужно по половине страниц дать 404 ошибку.
А по сайтам - мы не занимаемся сопровождением чужих, поэтому и не ждём 3-6 месяцев для аналитики)
Ну как причём? Семантика у вас проработана недостаточно, а соответственно, и проблемы на структурном уровне, и с релевантностью по запросам. Давайте на примере:
Ключ "техпаспорт на квартиру" - хорошая частотка, информационный контент в топах (если не брать "Госуслуги" какие-нибудь. У вас позиция - 20+. Почему? - Смотрим на страничку. Тайтл: "Технический паспорт в Москве". на что паспорт? Зачем топоним, это же выраженный коммерческий маркер? Судя по мета - страничку и качали под "технический паспорт" - а зачем? Оно не соответствует ни контенту, ни интенту.
Минимум две страницы претендуют на ключ "технический паспорт". Это зачем?
Да, при таких раскладах вы можете высоко ранжироваться - но с постоянной "колбасой" по позициям, плюс нерелевантный траф привлекать - а это уже отказы.
Я вообще про то, что сначала надо базу отработать на полную катушку и избавиться от возможных проблем технического, семантического, структурного характера - они влияют на колебания намного сильнее.
Виктор, ну вот Вы пишете сначала про структуру, потом про семантику. Вы уж определитесь.
Сайт я специально вставил новенький, этому 5 месяцев, трафик растет на 50% в месяц, сейчас около 500 человек. При этом цель страниц не РСЯ, а услуги, на РСЯ работали бы, уже показали бы тысяч 10. Плюс этот сайт выполняет роль сателлита в выдаче, чтобы забить топ по НЧ.
Вообще не было цели рассказывать подробности. Но раз уж пошли seo аудиты, тогда ладно, сколько я их повидал, такой дичи начитался)
Структура строится на семантике. Если на уровне кластеров и целевых страниц проблемы - будет неизбежная "колбаса" по позициям и трафу. Просто на уровне переклейки запросов постранично с колебаниями в ранжировании. С ПФ тоже будет непросто, вот о чём речь.
Напомню, что изначальный месседж - 2 недели слишком мало для выводов. Яндекс болтает сайты вверх-вниз как подорванный и без левых ботов.
"Структура строится на семантике." - прибить на видном месте.
Огрехи проектирования не всегда очевидны, особенно при наличии других сильных факторов. Но безусловный плюс хорошей работы с семантикой - осознанное управление проектом.