{"id":13654,"url":"\/distributions\/13654\/click?bit=1&hash=7a7aa21667aefd656b6233efba962ecbef616dfd5ac100a493b4b5899b23ff1f","title":"\u041c\u044b \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b\u0438 \u0440\u043e\u0434\u0438\u0442\u0435\u043b\u0435\u0439 \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c, \u043a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u00ab\u043a\u0440\u0435\u0430\u0442\u043e\u0440\u00bb \u0438 \u00ab\u043f\u0440\u043e\u0434\u0430\u043a\u0442\u00bb","buttonText":"\u0421\u043c\u043e\u0442\u0440\u0435\u0442\u044c","imageUuid":"32086418-934b-5de5-a4ef-6425a84c490a","isPaidAndBannersEnabled":false}
SEO
Смарт Вэй

Ответ на пост «Накрутки поведенческих факторов»

Не так давно был размещен пост про накрутку поведенческих факторов, как работает механизм и главное — как "топят" честные сайты в выдаче. В комментариях было много откликов об отрицательном влиянии этого процесса на сайты, о том, как падает посещаемость после нашествия ботов. Удивило, что даже опытные СЕОшники дают вредные советы по борьбе с ботами. Сейчас я расскажу и покажу, как мы это сделали.

Начало: резкий скачок посещаемости в декабре 2020

Мы не занимаемся SEO продвижением для клиентов, ведем только свои проекты. Началось все с роста посещаемости одного из главных сайтов, потом перенеслось на все посещаемые - пример, в первые несколько дней смотрели и радовались популярности. Присмотревшись, поняли, что посещаемость выросла у страниц, семантика которых не может дать рост с 6 посещений до 200 в день:

На скрине показан участок, когда трафик вырос на 20% в день из-за ботов

Вот так выросла посещаемость несколько мертвых до этого статей:

Основной трафик этих статей был с таких источников:

1. Смартфоны и планшеты - 90 %. Среднее время просмотра страницы - 29 секунд, глубина просмотра - 1,09;

2. ПК - 10 %. Время просмотров - 2,1, глубина просмотра - 1,9

Сразу стало понятно, кто-то крутит нам посещаемость. Не самое приятное чувство узнать, что придется опять защищать ресурсы от атак (а такое случается раз в полгода, из-за конкурентности ниш и стоимости кликов в директе на аналогичные запросы по 500 р.).

Как определили ботов:

Всего несколько характеристик:

1. Малое время пребывания на сайте, но больше 15 секунд, чтобы быть зафиксированным метрикой Яндекса;

2. Действия в Вебвизоре Яндекс.Метрики - подергивание курсора, просмотр 1 и 2 экрана сайта;

3. Прямые заходы на сайт, переход из соц. сетей;

4. Большая часть посетителей - пользователи смартфонов и планшетов.

Падение позиций и трафика

Через две недели, после того, как мы заметили наплыв ботов, началось резкое падение позиций и трафика в поиске Яндекс. Google не изменился, но и давал всегда 15-20 % от общего трафика посещений.

Что пробовали делать

В выдаче можно найти много статей по аналогичным проблемам - накрутка ботами, падение трафика, ухудшение поведенческих факторов.

Очень много дают советов, мы почти все перепробовали. Вот несколько самых популярных:

1. Ограничение по IP или подсети

Боты постоянно меняют прокси, используют разные подсети, сотовые операторы, и прочее. Когда мы включили фильтры по всем ботам, отрезало половину хорошего трафика.

Действие больше вредит, чем приносит пользы.

2. Установка Антиботов

Попробовали все возможные антиботы, плагины антиботов, сервисы - русскоязычные, англоязычные.

Все они не дают никакого результата. Ну как никакого - настройки одного антибота выкрутили на максимум, из-за чего Капча показывалась каждому вошедшему на сайт, что привело к еще большему падению поведенческих факторов.

Мы отказались от этих инструментов, потому что ни один сервис антибота не может нормально определять ботов. Если это не способен Яндекс с его миллиардами, то антиботы показали вообще нулевую эффективность.

3. Переклейка домена на другой адрес

Вообще без комментариев, такой бред делать с трастовым доменом с многолетней историей, кучей естественных ссылок - рука не поднимется.

4. Лить своих ботов на сайт

Черное SEO, как и серое, путь в никуда. Начнешь делать это и все - дальше дорога будет через бесконечные костыли, пока не улетишь в бан. С дорогими проектами такое делать нельзя, ведь каждый сайт - это инвестиции, которые нужно защищать, а не топить.

5. Писать Платонам.

Самое бесполезное, что можно сделать в текущей ситуации. Мы тоже написали, вреда не принесло и ладно.

Настройка Cloudflare

Изначально было понятно, что нужно тестить Cloudflare, смотреть разные настройки, усиливать Firewall. Это не реклама, а единственный инструмент, который у нас сработал.

Но так как мы никогда не работали с Cloudflare, сначала пытались найти специалиста, который сможет помочь. Я написал, наверное, половине Fl, спрашивая про нужные мне настройки на сервисе и результат, к которому хотелось бы прийти. Ответов по теме - 0, если не считать людей, которые хотели попробовать что-то там сделать за 500 баксов, но без гарантии результата.

В итоге, методом "тыка" и тестированием разных гипотез, мы выработали простой алгоритм, который сможет повторить любой на бесплатном тарифе Cloudflare.

Основная гипотеза строилась на ограничении доступа мобильных ботов.

Что нужно делать:

- Заводим аккаунт, регистрируемся, выбираем бесплатный начальный тариф, переводим DNS на Cloudflare ;

- В Firewall делаем сследующие настройки:

Суть в чем: при входе с Android и Iphone пользователю выходит капча, которая фильтрует ботов. Боты ее не могу обойти, она двух-шаговая и в целом - сложная.

Дополнительно:

Здесь мы пускаем полезных ботов Яндекса и Google без капчи. Они ее тоже не могут обойти. Даже если это Fake Bot, все равно пускаем, нам не так опасны они, как блок полезных ботов.

Почему мы решили выдать капчу всем пользователям мобильных устройств?

Все дело в том, что у нас контентный проект, и на нем нет прямых мобильных пользователей, а для перехода с Яндекса работают Турбо страницы, с Google - AMP страницы. Мы изначально не боялись ограничивать пользователей, так как большинство приходили именно на эти элементы, а борьба была направлена на прямой трафик.

Результат настроек

Все боты проходят через Clouflare, хороших пользователей при этом не больше 2-3%.

Позиции вернулись. Трафик вырос на 10 % к докризисному уровню. Сейчас почти все боты фильтруются CLoudFlare.

Количество этих ботов не уменьшается, что говорит о целенаправленной работе, которую и не думают останавливать.

При трафике 5000-6000 тысяч в день фильтруется:

1700 ботов - примерно столько фильтруется в день в посещаемости 5000-6000

Может показаться, что мы фильтруем еще и хороших пользователей, которым лень заполнять капчу. Статистика по решенной капче в день:

В итоге только 26 решенных капч на Android и 17 на Iphone. Ничтожно мало, чтобы переживать о падении поведенческих факторов из-за этого инструмента.

Вывод

Ставьте себе Firewall, делайте правильные настройки и блокируйте вредный трафик. Даже для проекта, где супер поведенческие факторы и только естественное продвижение, нужно вовремя реагировать на проблемы и действия со стороны, не говоря уже про постоянное улучшение и оптимизацию своей работы.

Мы надеемся, что наш опыт будет полезен для всех web-мастеров, кто столкнулся с проблемой нашествия ботов и негативными последствиями такого вредительства. Инструмент реально работает! - проверено на личном опыте.

0
64 комментария
Написать комментарий...
Zoibana

У нас с осени пошёл резкий и постоянный рост прямых заходов и заходов из соцсетей. Тематика - новостройки Москвы, крайне конкурентный сегмент и накрутки от конкурентов идут без остановки.

С типовыми научились бороться.

И вот новая нетиповая накрутка.
Анализ показал, что этот аномальный рост на 100% за счёт андроида. Первая мысль - выявить закономерности и заблочить подсети
Но оказалось что закономерность есть всего одна - андроид. И ходят они с миллионов разных айпишников. Для платной автоматизированной накрутки ботами это невероятно. Для содержания десятков тысяч подсетей нужны огромные деньги по сравнению с выгодой от такой распределенности при такой небольшой накрутке.

Более глубокий анализ показал, что это вероятнее всего троян или какой то скрытый скрипт в браузере/расширении/впн сервисе и т.д. Примерно по той же технологии, что и расширения Яндекс-браузера, в фоне накручивающие показы левым видео, которые в декабре Яндекс с Касперским обнаружили и отключили.

Настоящие люди открывают браузер, заходят на нужные им сайты, а в фоне грузится сторонний накручиваемый сайт, и юзер об этом даже не подозревает. Отсюда и миллионы разных устройств, айпишников и подсетей. Потому что это реальные юзеры.

Отсюда пришло решение - если это в фоне и юзер не может взаимодействовать со страницей, то показываем им самую примитивную капчу - поставить галочку и нажать кнопку. Накрутка пройти это не сможет.

За 5 минут сделал скрипт, который вообще всем андроидам при первом входе показывает эту капчу, поставил и вся эта накрутка срезалась сразу же.

Процент настоящих людей, прошедших капчу, колеблется чуть выше 1% от всех заблокированных.

Ответить
Развернуть ветку
Виктор Петров

Мало данных для выводов.
Начать с того, что вы заблочили первую волну ботов, фактически безопасную. Она ещё никого не скликивает, это пока про нагул фингерпринтов.
Отсев коснулся только мобильных проксей. А если прокси ПК будут использовать? А их используют не менее широко. Как бота отличите?
Почему падение позиций связали с ботами? 2 недели тут вообще не срок, слишком мало. А в вашем случае и метрики никакие не зарезались, включая last click - к вам напрямую и с реферером соцсетей шли, не с выдачи.
А с выдачей-то как? Срезать трафик, который генерит по какому-то алгоритму какой-то софт можно, но далеко не всегда. Нет глобального способа.
Единственный вариант - это если Яндекс наберет какую-то сетевую стату глобально.
Cloud Flare попробовать можно в любом случае, в некоторых это может быть полезно. Но как общее средство - хм. Остаётся проблема last click. Кроме того, капчи и промежуточные экраны проверки могут здорово сказаться на коммерческих сайтах и конверсии. В этом случае тогда уж другие системы антифрода стоит попробовать. На "Сёрче" глобальная тема, рекомендую к изучению.

Ответить
Развернуть ветку
Смарт Вэй
Автор

Большинство популярных советов из этой темы я описал, там вроде появились новые от создателя антибота с правками в код скрипта, не могу сказать, не тестил. Как раз этот антибот и портил все своим промежуточным экраном. 
Время реакции Яндекса на изменения сейчас в среднем две недели, у нас пик падения был через месяц - трафик упал в два раза. Еще через месяц вернулся полностью с ростом. 
Какие еще данные нужны, сколько нужно было ждать?) Я видел в теме отклики, что через 2-3 месяца у людей падение было 90%. 

Ответить
Развернуть ветку
11 комментариев
Mik Foxi

Капча живому человеку - это минус этот человек в 99% случаев, никто в здравом уме не будет разгадывать капчи на новом сайте с телефона, проще открыть соседний по выдаче сайт, незаменимых сайтов не бывает ))) а клаудфларовская хкапча это вообще убийство всех живых людей, ее и с компа разгадывать никакого желания нету.

Ответить
Развернуть ветку
Смарт Вэй
Автор

Так сделайте уже упаковку антибота под кейсы людей, пока будешь вставлять все эти php скрипты и правки, сам уйдешь на клаудфлейр, где тремя кнопками все делаешь)

Ответить
Развернуть ветку
1 комментарий
Nikita Stepnov

Ваш оптимизм слегка преждевременен.
Во-первых вам уронят ПФ через турбо-страницы, которые вы не контролируете и через Ябраузер, который сливает данные об отказе напрямую.
Во-вторых для тех, кто закрылся от мобильных, у этих ботоводов большой запас немобильных прокси и по России и по миру. 

Ответить
Развернуть ветку
Смарт Вэй
Автор

Захотят сломать, сломают? Это имеет ввиду? 
Ясно, понятно) 
А так мы вышли из падения ПФ этим  инструментам, нам хватило. Вылез не 1 сайт, а все(у нас только информационники). Посмотрим что будет дальше, может Яндекс найдет где подсмотреть алгоритм Гугла и сам реализует. 

Ответить
Развернуть ветку
6 комментариев
Виктор Петров

Есть нюанс.
Сайт - информационник, его краешком зацепило, потому что ранжируется по запросам из спектральной выдачи. Так что может и пронести, крутить-то будут, с большей степенью вероятности, более коммерческие запросы.

Ответить
Развернуть ветку
4 комментария
Бабка в засаде

Наивный взгляд )) Нынче боты уже с обычных браузеров умеют заходить, и движения мышью на уровне OS эмулируют.
Те же puppeteer / sikuli и прочие.
Вам удалось отсеять какой-то мусор, но если кто-то всерьёз решится вам насолить - они это легко сделают 

Ответить
Развернуть ветку
Смарт Вэй
Автор

Почитайте первый пост, про выгуливание ботов на сайтах, поймёте смысл действий.

Ответить
Развернуть ветку
2 комментария
Виктор Петров

Ну не то чтоб насолить. Просто, похоже, какая-то тематика, где накрутками пока мало кто двигается, и объёмы бототрафа малы.

Ответить
Развернуть ветку
Дмитрий Константинов

Если опубликуете пошаговую инструкцию по настройке Cloudflare (или кто-то ее опубликует) - будем бомба!

Ответить
Развернуть ветку
Марк Климов

У меня на инфосайте 100 000 ботов в сутки (скрин 1). Уже нашёл конкурента (очень резкий рост запросов сайта по wordstat, нулевое ссылочное, 95% трафика из Яндекса), который за пол года накрутки поведенческих дошёл до 30 000 посетителей в сутки (скрин 2). 

Ну заблокируете вы ботов, а что с выдачей делать будете, где вас обошли конкуренты  накрутчики? Проблему может только Яндекс решить. 

Я же для себя пока решил полностью переориентироваться на Google и планирую с Метрики тоже слезать, в ней уже нет смысла.

Ответить
Развернуть ветку
Смарт Вэй
Автор

Все конкуренты умирают, не знал в своих нишах ни одного, кто прожил больше 6 месяцев с накруткой.
Я конечно не в курсе, как там в Окнах, или Выносе мусора )) Наверняка только накрутчики и живут.

Ответить
Развернуть ветку
1 комментарий
Виктор Петров

Вот так взять и срезать канал, в котором минимум 50-60% потенциальных клиентов?
Гугл тоже не сахар, если что.

Ответить
Развернуть ветку
Андрей К

Мне конкуренты (у которых тоже стоит cloudflare) утопили сайт за 2 мес ботами по 10 посещений в день. В топ-10 был по более чем 100 запросам, а теперь осталось 5-6 запросов, остальные в топ-30... Поставил cloudflare, буду тестить. Спасибо

Ответить
Развернуть ветку
Виктор Петров

Как-то вы поздновато.
Склик уже не работает, примерно с лета.
Толковая CDN, конечно, в любом случае не помешает, но CF, настроенная кого-то резать и не пущать - не на пользу.

Ответить
Развернуть ветку
4 комментария
Евгений Шилов

Объясните, пожалуйста, что это такое AS15169 Google и AS13238 Yandex

Ответить
Развернуть ветку
Смарт Вэй
Автор

Подсети

Ответить
Развернуть ветку
1 комментарий
Максим Пряник

Привет, не совсем понял как вы фильтруете ботов на турбостраницах?

Ответить
Развернуть ветку
Смарт Вэй
Автор

Фильтр только на прямой трафик. В турбо страницах ботов метрика пока не показывает

Ответить
Развернуть ветку
1 комментарий
Денис Демидов

а какой процент отказов после ввода капчи у вас наблюдается?

Ответить
Развернуть ветку
Смарт Вэй
Автор

Процент отказов не изменился

Ответить
Развернуть ветку
Dear Moscow,

Фильтр для пропуска ботов странноватый — где вы видели, чтобы в User-agent у легитимных поисковых ботов указывался ASHandle (AS№№№№№)?

Или это какой-то клаудфлэровский wildcard, который они сами корректно интерпретируют?

Ответить
Развернуть ветку
Смарт Вэй
Автор

У Гугл бота, например

Ответить
Развернуть ветку
1 комментарий
Aleks Cloud

Плюс статье. Недавно столкнулись с подобным на одном из клиентских сайтов: Cloudflare очень даже выручает. Может не на 100%, но в том объеме, в котором необходимо, чтобы обезопасить сайт от негативных последствий.

Ответить
Развернуть ветку
J J

Спасибо за материал! 💪

Ответить
Развернуть ветку
Илья Овчинников

Привет, ниша лидген?

Ответить
Развернуть ветку
Евгений Шилов

Спасибо, пробуем делать аналогично

Ответить
Развернуть ветку
Андрей К

Понятно. Будем исправлять. Спасибо за ваши ответы

Ответить
Развернуть ветку
Смарт Вэй
Автор

Обновление от ноября 2021 г.
Капча Cloudflare - все ещё актуальна, но защищает только от нагула профилей.
От скрутки из поисковых систем она никак не поможет и на текущий момент нет решений, которые это смогут победить.
Есть подозрение, что Яндексу это выгодно и он сам мотивирует создавать софт под накрутки, ведь это увеличивает их доход от рекламы.

Ответить
Развернуть ветку
Витя

Как настроить cloudflare от прямых заходов? последние 2 недели серьезная атака на сайт

Ответить
Развернуть ветку
Читать все 64 комментария
null