Не так давно был размещен пост про накрутку поведенческих факторов, как работает механизм и главное — как "топят" честные сайты в выдаче. В комментариях было много откликов об отрицательном влиянии этого процесса на сайты, о том, как падает посещаемость после нашествия ботов. Удивило, что даже опытные СЕОшники дают вредные советы по борьбе с ботами. Сейчас я расскажу и покажу, как мы это сделали.
Начало: резкий скачок посещаемости в декабре 2020
Мы не занимаемся SEO продвижением для клиентов, ведем только свои проекты. Началось все с роста посещаемости одного из главных сайтов, потом перенеслось на все посещаемые - пример, в первые несколько дней смотрели и радовались популярности. Присмотревшись, поняли, что посещаемость выросла у страниц, семантика которых не может дать рост с 6 посещений до 200 в день:
Вот так выросла посещаемость несколько мертвых до этого статей:
Основной трафик этих статей был с таких источников:
1. Смартфоны и планшеты - 90 %. Среднее время просмотра страницы - 29 секунд, глубина просмотра - 1,09;
2. ПК - 10 %. Время просмотров - 2,1, глубина просмотра - 1,9
Сразу стало понятно, кто-то крутит нам посещаемость. Не самое приятное чувство узнать, что придется опять защищать ресурсы от атак (а такое случается раз в полгода, из-за конкурентности ниш и стоимости кликов в директе на аналогичные запросы по 500 р.).
Как определили ботов:
Всего несколько характеристик:
1. Малое время пребывания на сайте, но больше 15 секунд, чтобы быть зафиксированным метрикой Яндекса;
2. Действия в Вебвизоре Яндекс.Метрики - подергивание курсора, просмотр 1 и 2 экрана сайта;
3. Прямые заходы на сайт, переход из соц. сетей;
4. Большая часть посетителей - пользователи смартфонов и планшетов.
Падение позиций и трафика
Через две недели, после того, как мы заметили наплыв ботов, началось резкое падение позиций и трафика в поиске Яндекс. Google не изменился, но и давал всегда 15-20 % от общего трафика посещений.
Что пробовали делать
В выдаче можно найти много статей по аналогичным проблемам - накрутка ботами, падение трафика, ухудшение поведенческих факторов.
Очень много дают советов, мы почти все перепробовали. Вот несколько самых популярных:
1. Ограничение по IP или подсети
Боты постоянно меняют прокси, используют разные подсети, сотовые операторы, и прочее. Когда мы включили фильтры по всем ботам, отрезало половину хорошего трафика.
Действие больше вредит, чем приносит пользы.
2. Установка Антиботов
Попробовали все возможные антиботы, плагины антиботов, сервисы - русскоязычные, англоязычные.
Все они не дают никакого результата. Ну как никакого - настройки одного антибота выкрутили на максимум, из-за чего Капча показывалась каждому вошедшему на сайт, что привело к еще большему падению поведенческих факторов.
Мы отказались от этих инструментов, потому что ни один сервис антибота не может нормально определять ботов. Если это не способен Яндекс с его миллиардами, то антиботы показали вообще нулевую эффективность.
3. Переклейка домена на другой адрес
Вообще без комментариев, такой бред делать с трастовым доменом с многолетней историей, кучей естественных ссылок - рука не поднимется.
4. Лить своих ботов на сайт
Черное SEO, как и серое, путь в никуда. Начнешь делать это и все - дальше дорога будет через бесконечные костыли, пока не улетишь в бан. С дорогими проектами такое делать нельзя, ведь каждый сайт - это инвестиции, которые нужно защищать, а не топить.
5. Писать Платонам.
Самое бесполезное, что можно сделать в текущей ситуации. Мы тоже написали, вреда не принесло и ладно.
Настройка Cloudflare
Изначально было понятно, что нужно тестить Cloudflare, смотреть разные настройки, усиливать Firewall. Это не реклама, а единственный инструмент, который у нас сработал.
Но так как мы никогда не работали с Cloudflare, сначала пытались найти специалиста, который сможет помочь. Я написал, наверное, половине Fl, спрашивая про нужные мне настройки на сервисе и результат, к которому хотелось бы прийти. Ответов по теме - 0, если не считать людей, которые хотели попробовать что-то там сделать за 500 баксов, но без гарантии результата.
В итоге, методом "тыка" и тестированием разных гипотез, мы выработали простой алгоритм, который сможет повторить любой на бесплатном тарифе Cloudflare.
Основная гипотеза строилась на ограничении доступа мобильных ботов.
Что нужно делать:
- Заводим аккаунт, регистрируемся, выбираем бесплатный начальный тариф, переводим DNS на Cloudflare ;
- В Firewall делаем сследующие настройки:
Суть в чем: при входе с Android и Iphone пользователю выходит капча, которая фильтрует ботов. Боты ее не могу обойти, она двух-шаговая и в целом - сложная.
Дополнительно:
Здесь мы пускаем полезных ботов Яндекса и Google без капчи. Они ее тоже не могут обойти. Даже если это Fake Bot, все равно пускаем, нам не так опасны они, как блок полезных ботов.
Почему мы решили выдать капчу всем пользователям мобильных устройств?
Все дело в том, что у нас контентный проект, и на нем нет прямых мобильных пользователей, а для перехода с Яндекса работают Турбо страницы, с Google - AMP страницы. Мы изначально не боялись ограничивать пользователей, так как большинство приходили именно на эти элементы, а борьба была направлена на прямой трафик.
Результат настроек
Все боты проходят через Clouflare, хороших пользователей при этом не больше 2-3%.
Позиции вернулись. Трафик вырос на 10 % к докризисному уровню. Сейчас почти все боты фильтруются CLoudFlare.
Количество этих ботов не уменьшается, что говорит о целенаправленной работе, которую и не думают останавливать.
При трафике 5000-6000 тысяч в день фильтруется:
Может показаться, что мы фильтруем еще и хороших пользователей, которым лень заполнять капчу. Статистика по решенной капче в день:
В итоге только 26 решенных капч на Android и 17 на Iphone. Ничтожно мало, чтобы переживать о падении поведенческих факторов из-за этого инструмента.
Вывод
Ставьте себе Firewall, делайте правильные настройки и блокируйте вредный трафик. Даже для проекта, где супер поведенческие факторы и только естественное продвижение, нужно вовремя реагировать на проблемы и действия со стороны, не говоря уже про постоянное улучшение и оптимизацию своей работы.
Мы надеемся, что наш опыт будет полезен для всех web-мастеров, кто столкнулся с проблемой нашествия ботов и негативными последствиями такого вредительства. Инструмент реально работает! - проверено на личном опыте.
У нас с осени пошёл резкий и постоянный рост прямых заходов и заходов из соцсетей. Тематика - новостройки Москвы, крайне конкурентный сегмент и накрутки от конкурентов идут без остановки.
С типовыми научились бороться.
И вот новая нетиповая накрутка.
Анализ показал, что этот аномальный рост на 100% за счёт андроида. Первая мысль - выявить закономерности и заблочить подсети
Но оказалось что закономерность есть всего одна - андроид. И ходят они с миллионов разных айпишников. Для платной автоматизированной накрутки ботами это невероятно. Для содержания десятков тысяч подсетей нужны огромные деньги по сравнению с выгодой от такой распределенности при такой небольшой накрутке.
Более глубокий анализ показал, что это вероятнее всего троян или какой то скрытый скрипт в браузере/расширении/впн сервисе и т.д. Примерно по той же технологии, что и расширения Яндекс-браузера, в фоне накручивающие показы левым видео, которые в декабре Яндекс с Касперским обнаружили и отключили.
Настоящие люди открывают браузер, заходят на нужные им сайты, а в фоне грузится сторонний накручиваемый сайт, и юзер об этом даже не подозревает. Отсюда и миллионы разных устройств, айпишников и подсетей. Потому что это реальные юзеры.
Отсюда пришло решение - если это в фоне и юзер не может взаимодействовать со страницей, то показываем им самую примитивную капчу - поставить галочку и нажать кнопку. Накрутка пройти это не сможет.
За 5 минут сделал скрипт, который вообще всем андроидам при первом входе показывает эту капчу, поставил и вся эта накрутка срезалась сразу же.
Процент настоящих людей, прошедших капчу, колеблется чуть выше 1% от всех заблокированных.
Мало данных для выводов.
Начать с того, что вы заблочили первую волну ботов, фактически безопасную. Она ещё никого не скликивает, это пока про нагул фингерпринтов.
Отсев коснулся только мобильных проксей. А если прокси ПК будут использовать? А их используют не менее широко. Как бота отличите?
Почему падение позиций связали с ботами? 2 недели тут вообще не срок, слишком мало. А в вашем случае и метрики никакие не зарезались, включая last click - к вам напрямую и с реферером соцсетей шли, не с выдачи.
А с выдачей-то как? Срезать трафик, который генерит по какому-то алгоритму какой-то софт можно, но далеко не всегда. Нет глобального способа.
Единственный вариант - это если Яндекс наберет какую-то сетевую стату глобально.
Cloud Flare попробовать можно в любом случае, в некоторых это может быть полезно. Но как общее средство - хм. Остаётся проблема last click. Кроме того, капчи и промежуточные экраны проверки могут здорово сказаться на коммерческих сайтах и конверсии. В этом случае тогда уж другие системы антифрода стоит попробовать. На "Сёрче" глобальная тема, рекомендую к изучению.
Большинство популярных советов из этой темы я описал, там вроде появились новые от создателя антибота с правками в код скрипта, не могу сказать, не тестил. Как раз этот антибот и портил все своим промежуточным экраном.
Время реакции Яндекса на изменения сейчас в среднем две недели, у нас пик падения был через месяц - трафик упал в два раза. Еще через месяц вернулся полностью с ростом.
Какие еще данные нужны, сколько нужно было ждать?) Я видел в теме отклики, что через 2-3 месяца у людей падение было 90%.
Капча живому человеку - это минус этот человек в 99% случаев, никто в здравом уме не будет разгадывать капчи на новом сайте с телефона, проще открыть соседний по выдаче сайт, незаменимых сайтов не бывает ))) а клаудфларовская хкапча это вообще убийство всех живых людей, ее и с компа разгадывать никакого желания нету.
Так сделайте уже упаковку антибота под кейсы людей, пока будешь вставлять все эти php скрипты и правки, сам уйдешь на клаудфлейр, где тремя кнопками все делаешь)
Ваш оптимизм слегка преждевременен.
Во-первых вам уронят ПФ через турбо-страницы, которые вы не контролируете и через Ябраузер, который сливает данные об отказе напрямую.
Во-вторых для тех, кто закрылся от мобильных, у этих ботоводов большой запас немобильных прокси и по России и по миру.
Захотят сломать, сломают? Это имеет ввиду?
Ясно, понятно)
А так мы вышли из падения ПФ этим инструментам, нам хватило. Вылез не 1 сайт, а все(у нас только информационники). Посмотрим что будет дальше, может Яндекс найдет где подсмотреть алгоритм Гугла и сам реализует.
Есть нюанс.
Сайт - информационник, его краешком зацепило, потому что ранжируется по запросам из спектральной выдачи. Так что может и пронести, крутить-то будут, с большей степенью вероятности, более коммерческие запросы.
Наивный взгляд )) Нынче боты уже с обычных браузеров умеют заходить, и движения мышью на уровне OS эмулируют.
Те же puppeteer / sikuli и прочие.
Вам удалось отсеять какой-то мусор, но если кто-то всерьёз решится вам насолить - они это легко сделают
Почитайте первый пост, про выгуливание ботов на сайтах, поймёте смысл действий.
Ну не то чтоб насолить. Просто, похоже, какая-то тематика, где накрутками пока мало кто двигается, и объёмы бототрафа малы.
Если опубликуете пошаговую инструкцию по настройке Cloudflare (или кто-то ее опубликует) - будем бомба!
У меня на инфосайте 100 000 ботов в сутки (скрин 1). Уже нашёл конкурента (очень резкий рост запросов сайта по wordstat, нулевое ссылочное, 95% трафика из Яндекса), который за пол года накрутки поведенческих дошёл до 30 000 посетителей в сутки (скрин 2).
Ну заблокируете вы ботов, а что с выдачей делать будете, где вас обошли конкуренты накрутчики? Проблему может только Яндекс решить.
Я же для себя пока решил полностью переориентироваться на Google и планирую с Метрики тоже слезать, в ней уже нет смысла.
Все конкуренты умирают, не знал в своих нишах ни одного, кто прожил больше 6 месяцев с накруткой.
Я конечно не в курсе, как там в Окнах, или Выносе мусора )) Наверняка только накрутчики и живут.
Вот так взять и срезать канал, в котором минимум 50-60% потенциальных клиентов?
Гугл тоже не сахар, если что.
Комментарий недоступен
Как-то вы поздновато.
Склик уже не работает, примерно с лета.
Толковая CDN, конечно, в любом случае не помешает, но CF, настроенная кого-то резать и не пущать - не на пользу.
Объясните, пожалуйста, что это такое AS15169 Google и AS13238 Yandex
Подсети
Привет, не совсем понял как вы фильтруете ботов на турбостраницах?
Фильтр только на прямой трафик. В турбо страницах ботов метрика пока не показывает
а какой процент отказов после ввода капчи у вас наблюдается?
Процент отказов не изменился
Фильтр для пропуска ботов странноватый — где вы видели, чтобы в User-agent у легитимных поисковых ботов указывался ASHandle (AS№№№№№)?
Или это какой-то клаудфлэровский wildcard, который они сами корректно интерпретируют?
У Гугл бота, например
Плюс статье. Недавно столкнулись с подобным на одном из клиентских сайтов: Cloudflare очень даже выручает. Может не на 100%, но в том объеме, в котором необходимо, чтобы обезопасить сайт от негативных последствий.
Спасибо за материал! 💪
Привет, ниша лидген?
Спасибо, пробуем делать аналогично
Комментарий недоступен
Обновление от ноября 2021 г.
Капча Cloudflare - все ещё актуальна, но защищает только от нагула профилей.
От скрутки из поисковых систем она никак не поможет и на текущий момент нет решений, которые это смогут победить.
Есть подозрение, что Яндексу это выгодно и он сам мотивирует создавать софт под накрутки, ведь это увеличивает их доход от рекламы.
Как настроить cloudflare от прямых заходов? последние 2 недели серьезная атака на сайт