iPhone 13 Pro уже в продаже
Пространство возможностей
ООО «Портативная техника», юр.адрес: 190031, Санкт-Петербург, наб. реки Фонтанки, д.109, литер А, пом. 13Н, ОГРН № 1057811930296
{"id":6525,"title":"\u041a\u0430\u043a \u0441\u0435\u0431\u044f \u0447\u0443\u0432\u0441\u0442\u0432\u0443\u0435\u0442 \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043f\u043e\u0440\u0442\u0444\u0435\u043b\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 vc.ru","url":"\/redirect?component=advertising&id=6525&url=https:\/\/vc.ru\/promo\/292716-yandeks-vyhodit-iz-spyachki-alibaba-portit-nastroenie&placeBit=1&hash=7519bee6efc23ae5d635bf3098f678add4979d572b9f05b21135900c9688d27b","isPaidAndBannersEnabled":false}
SEO
Александр Жилев

Ответ на пост «Накрутки поведенческих факторов»

Не так давно был размещен пост про накрутку поведенческих факторов, как работает механизм и главное — как "топят" честные сайты в выдаче. В комментариях было много откликов об отрицательном влиянии этого процесса на сайты, о том, как падает посещаемость после нашествия ботов. Удивило, что даже опытные СЕОшники дают вредные советы по борьбе с ботами. Сейчас я расскажу и покажу, как мы это сделали.

Начало: резкий скачок посещаемости в декабре 2020

Мы не занимаемся SEO продвижением для клиентов, ведем только свои проекты. Началось все с роста посещаемости одного из главных сайтов, потом перенеслось на все посещаемые - пример, в первые несколько дней смотрели и радовались популярности. Присмотревшись, поняли, что посещаемость выросла у страниц, семантика которых не может дать рост с 6 посещений до 200 в день:

На скрине показан участок, когда трафик вырос на 20% в день из-за ботов

Вот так выросла посещаемость несколько мертвых до этого статей:

Основной трафик этих статей был с таких источников:

1. Смартфоны и планшеты - 90 %. Среднее время просмотра страницы - 29 секунд, глубина просмотра - 1,09;

2. ПК - 10 %. Время просмотров - 2,1, глубина просмотра - 1,9

Сразу стало понятно, кто-то крутит нам посещаемость. Не самое приятное чувство узнать, что придется опять защищать ресурсы от атак (а такое случается раз в полгода, из-за конкурентности ниш и стоимости кликов в директе на аналогичные запросы по 500 р.).

Как определили ботов:

Всего несколько характеристик:

1. Малое время пребывания на сайте, но больше 15 секунд, чтобы быть зафиксированным метрикой Яндекса;

2. Действия в Вебвизоре Яндекс.Метрики - подергивание курсора, просмотр 1 и 2 экрана сайта;

3. Прямые заходы на сайт, переход из соц. сетей;

4. Большая часть посетителей - пользователи смартфонов и планшетов.

Падение позиций и трафика

Через две недели, после того, как мы заметили наплыв ботов, началось резкое падение позиций и трафика в поиске Яндекс. Google не изменился, но и давал всегда 15-20 % от общего трафика посещений.

Что пробовали делать

В выдаче можно найти много статей по аналогичным проблемам - накрутка ботами, падение трафика, ухудшение поведенческих факторов.

Очень много дают советов, мы почти все перепробовали. Вот несколько самых популярных:

1. Ограничение по IP или подсети

Боты постоянно меняют прокси, используют разные подсети, сотовые операторы, и прочее. Когда мы включили фильтры по всем ботам, отрезало половину хорошего трафика.

Действие больше вредит, чем приносит пользы.

2. Установка Антиботов

Попробовали все возможные антиботы, плагины антиботов, сервисы - русскоязычные, англоязычные.

Все они не дают никакого результата. Ну как никакого - настройки одного антибота выкрутили на максимум, из-за чего Капча показывалась каждому вошедшему на сайт, что привело к еще большему падению поведенческих факторов.

Мы отказались от этих инструментов, потому что ни один сервис антибота не может нормально определять ботов. Если это не способен Яндекс с его миллиардами, то антиботы показали вообще нулевую эффективность.

3. Переклейка домена на другой адрес

Вообще без комментариев, такой бред делать с трастовым доменом с многолетней историей, кучей естественных ссылок - рука не поднимется.

4. Лить своих ботов на сайт

Черное SEO, как и серое, путь в никуда. Начнешь делать это и все - дальше дорога будет через бесконечные костыли, пока не улетишь в бан. С дорогими проектами такое делать нельзя, ведь каждый сайт - это инвестиции, которые нужно защищать, а не топить.

5. Писать Платонам.

Самое бесполезное, что можно сделать в текущей ситуации. Мы тоже написали, вреда не принесло и ладно.

Настройка Cloudflare

Изначально было понятно, что нужно тестить Cloudflare, смотреть разные настройки, усиливать Firewall. Это не реклама, а единственный инструмент, который у нас сработал.

Но так как мы никогда не работали с Cloudflare, сначала пытались найти специалиста, который сможет помочь. Я написал, наверное, половине Fl, спрашивая про нужные мне настройки на сервисе и результат, к которому хотелось бы прийти. Ответов по теме - 0, если не считать людей, которые хотели попробовать что-то там сделать за 500 баксов, но без гарантии результата.

В итоге, методом "тыка" и тестированием разных гипотез, мы выработали простой алгоритм, который сможет повторить любой на бесплатном тарифе Cloudflare.

Основная гипотеза строилась на ограничении доступа мобильных ботов.

Что нужно делать:

- Заводим аккаунт, регистрируемся, выбираем бесплатный начальный тариф, переводим DNS на Cloudflare ;

- В Firewall делаем сследующие настройки:

Суть в чем: при входе с Android и Iphone пользователю выходит капча, которая фильтрует ботов. Боты ее не могу обойти, она двух-шаговая и в целом - сложная.

Дополнительно:

Здесь мы пускаем полезных ботов Яндекса и Google без капчи. Они ее тоже не могут обойти. Даже если это Fake Bot, все равно пускаем, нам не так опасны они, как блок полезных ботов.

Почему мы решили выдать капчу всем пользователям мобильных устройств?

Все дело в том, что у нас контентный проект, и на нем нет прямых мобильных пользователей, а для перехода с Яндекса работают Турбо страницы, с Google - AMP страницы. Мы изначально не боялись ограничивать пользователей, так как большинство приходили именно на эти элементы, а борьба была направлена на прямой трафик.

Результат настроек

Все боты проходят через Clouflare, хороших пользователей при этом не больше 2-3%.

Позиции вернулись. Трафик вырос на 10 % к докризисному уровню. Сейчас почти все боты фильтруются CLoudFlare.

Количество этих ботов не уменьшается, что говорит о целенаправленной работе, которую и не думают останавливать.

При трафике 5000-6000 тысяч в день фильтруется:

1700 ботов - примерно столько фильтруется в день в посещаемости 5000-6000

Может показаться, что мы фильтруем еще и хороших пользователей, которым лень заполнять капчу. Статистика по решенной капче в день:

В итоге только 26 решенных капч на Android и 17 на Iphone. Ничтожно мало, чтобы переживать о падении поведенческих факторов из-за этого инструмента.

Вывод

Ставьте себе Firewall, делайте правильные настройки и блокируйте вредный трафик. Даже для проекта, где супер поведенческие факторы и только естественное продвижение, нужно вовремя реагировать на проблемы и действия со стороны, не говоря уже про постоянное улучшение и оптимизацию своей работы.

Мы надеемся, что наш опыт будет полезен для всех web-мастеров, кто столкнулся с проблемой нашествия ботов и негативными последствиями такого вредительства. Инструмент реально работает! - проверено на личном опыте.

{ "author_name": "Александр Жилев", "author_type": "self", "tags": [], "comments": 50, "likes": 23, "favorites": 58, "is_advertisement": false, "subsite_label": "seo", "id": 216234, "is_wide": true, "is_ugc": true, "date": "Wed, 03 Mar 2021 22:39:47 +0300", "is_special": false }
0
50 комментариев
Популярные
По порядку
Написать комментарий...

У нас с осени пошёл резкий и постоянный рост прямых заходов и заходов из соцсетей. Тематика - новостройки Москвы, крайне конкурентный сегмент и накрутки от конкурентов идут без остановки.

С типовыми научились бороться.

И вот новая нетиповая накрутка.
Анализ показал, что этот аномальный рост на 100% за счёт андроида. Первая мысль - выявить закономерности и заблочить подсети
Но оказалось что закономерность есть всего одна - андроид. И ходят они с миллионов разных айпишников. Для платной автоматизированной накрутки ботами это невероятно. Для содержания десятков тысяч подсетей нужны огромные деньги по сравнению с выгодой от такой распределенности при такой небольшой накрутке.

Более глубокий анализ показал, что это вероятнее всего троян или какой то скрытый скрипт в браузере/расширении/впн сервисе и т.д. Примерно по той же технологии, что и расширения Яндекс-браузера, в фоне накручивающие показы левым видео, которые в декабре Яндекс с Касперским обнаружили и отключили.

Настоящие люди открывают браузер, заходят на нужные им сайты, а в фоне грузится сторонний накручиваемый сайт, и юзер об этом даже не подозревает. Отсюда и миллионы разных устройств, айпишников и подсетей. Потому что это реальные юзеры.

Отсюда пришло решение - если это в фоне и юзер не может взаимодействовать со страницей, то показываем им самую примитивную капчу - поставить галочку и нажать кнопку. Накрутка пройти это не сможет.

За 5 минут сделал скрипт, который вообще всем андроидам при первом входе показывает эту капчу, поставил и вся эта накрутка срезалась сразу же.

Процент настоящих людей, прошедших капчу, колеблется чуть выше 1% от всех заблокированных.

11

Мало данных для выводов.
Начать с того, что вы заблочили первую волну ботов, фактически безопасную. Она ещё никого не скликивает, это пока про нагул фингерпринтов.
Отсев коснулся только мобильных проксей. А если прокси ПК будут использовать? А их используют не менее широко. Как бота отличите?
Почему падение позиций связали с ботами? 2 недели тут вообще не срок, слишком мало. А в вашем случае и метрики никакие не зарезались, включая last click - к вам напрямую и с реферером соцсетей шли, не с выдачи.
А с выдачей-то как? Срезать трафик, который генерит по какому-то алгоритму какой-то софт можно, но далеко не всегда. Нет глобального способа.
Единственный вариант - это если Яндекс наберет какую-то сетевую стату глобально.
Cloud Flare попробовать можно в любом случае, в некоторых это может быть полезно. Но как общее средство - хм. Остаётся проблема last click. Кроме того, капчи и промежуточные экраны проверки могут здорово сказаться на коммерческих сайтах и конверсии. В этом случае тогда уж другие системы антифрода стоит попробовать. На "Сёрче" глобальная тема, рекомендую к изучению. ред.

4

Большинство популярных советов из этой темы я описал, там вроде появились новые от создателя антибота с правками в код скрипта, не могу сказать, не тестил. Как раз этот антибот и портил все своим промежуточным экраном. 
Время реакции Яндекса на изменения сейчас в среднем две недели, у нас пик падения был через месяц - трафик упал в два раза. Еще через месяц вернулся полностью с ростом. 
Какие еще данные нужны, сколько нужно было ждать?) Я видел в теме отклики, что через 2-3 месяца у людей падение было 90%. 

0

Тут как минимум графики по CTR позапросно надо в вебмастере смотреть. 2 недели - слишком мало, как по мне. Ну да, ПФ, кажется, раз в 5 дней апаются, но кроме ПФ слишком много факторов для пересчёта - тут позиции и на "бандите" могут плавать.
У вас по сайту, кстати, по общим факторам много недоработок - хотя бы на уровне структуры. Это может здорово влиять на колебания и без залетной ботовни.
По моей практике в негативе сайты раньше 3-6 месяцев не валятся, даже если долбят направленно, срезают CTR и лепят увеличение возвратов на выдачу.

0

Не пойму, при чем тут структура сайта. Чтобы так просесть, нужно по половине страниц дать 404 ошибку.
А по сайтам - мы не занимаемся сопровождением чужих, поэтому и не ждём 3-6 месяцев для аналитики)

0

Ну как причём? Семантика у вас проработана недостаточно, а соответственно, и проблемы на структурном уровне, и с релевантностью по запросам. Давайте на примере:
Ключ "техпаспорт на квартиру" - хорошая частотка, информационный контент в топах (если не брать "Госуслуги" какие-нибудь. У вас позиция - 20+. Почему? - Смотрим на страничку. Тайтл: "Технический паспорт в Москве". на что паспорт? Зачем топоним, это же выраженный коммерческий маркер? Судя по мета - страничку и качали под "технический паспорт" - а зачем? Оно не соответствует ни контенту, ни интенту.
Минимум две страницы претендуют на ключ "технический паспорт". Это зачем?
Да, при таких раскладах вы можете высоко ранжироваться - но с постоянной "колбасой" по позициям, плюс нерелевантный траф привлекать - а это уже отказы.
Я вообще про то, что сначала надо базу отработать на полную катушку и избавиться от возможных проблем технического, семантического, структурного характера - они влияют на колебания намного сильнее.  ред.

0

Виктор, ну вот Вы пишете сначала про структуру, потом про семантику. Вы уж определитесь. 
Сайт я специально вставил новенький, этому 5 месяцев, трафик растет на 50% в месяц, сейчас около 500 человек. При этом цель страниц не РСЯ, а услуги, на РСЯ работали бы, уже показали бы тысяч 10. Плюс этот сайт выполняет роль сателлита в выдаче, чтобы забить топ по НЧ. 
Вообще не было цели рассказывать подробности. Но раз уж пошли seo аудиты, тогда ладно, сколько я их повидал, такой дичи начитался)

0

Структура строится на семантике. Если на уровне кластеров и целевых страниц проблемы - будет неизбежная "колбаса" по позициям и трафу. Просто на уровне переклейки запросов постранично с колебаниями в ранжировании. С ПФ тоже будет непросто, вот о чём речь.
Напомню, что изначальный месседж - 2 недели слишком мало для выводов. Яндекс болтает сайты вверх-вниз как подорванный и без левых ботов. ред.

2

"Структура строится на семантике." - прибить на видном месте.
Огрехи проектирования не всегда очевидны, особенно при наличии других сильных факторов. Но безусловный плюс хорошей работы с семантикой - осознанное управление проектом.

1

Капча живому человеку - это минус этот человек в 99% случаев, никто в здравом уме не будет разгадывать капчи на новом сайте с телефона, проще открыть соседний по выдаче сайт, незаменимых сайтов не бывает ))) а клаудфларовская хкапча это вообще убийство всех живых людей, ее и с компа разгадывать никакого желания нету.

2

Так сделайте уже упаковку антибота под кейсы людей, пока будешь вставлять все эти php скрипты и правки, сам уйдешь на клаудфлейр, где тремя кнопками все делаешь)

0

Да писать инструкции это не мой конек ))) но антибот прост до предела: залить папку с антиботом и вставить инклуд в конфиг своего сайта. Ну и дальше уже поразрешать ботов которых надо для конкретного сайта считать белыми. В этом я помогаю всем кто обращается еще на стадии тестового бесплатного периода. 

0

Ваш оптимизм слегка преждевременен.
Во-первых вам уронят ПФ через турбо-страницы, которые вы не контролируете и через Ябраузер, который сливает данные об отказе напрямую.
Во-вторых для тех, кто закрылся от мобильных, у этих ботоводов большой запас немобильных прокси и по России и по миру. 

1

Захотят сломать, сломают? Это имеет ввиду? 
Ясно, понятно) 
А так мы вышли из падения ПФ этим  инструментам, нам хватило. Вылез не 1 сайт, а все(у нас только информационники). Посмотрим что будет дальше, может Яндекс найдет где подсмотреть алгоритм Гугла и сам реализует.  ред.

0

Нет, речь о том, что ещё ничего, вероятно, не закончилось. Нагуливают ФП и накручивают своих по одним и тем же спискам. Вы в них попали и среагировали на первую волну. Справитесь ли со второй - вот о чём речь.

1

Любой кто работает в этой теме, будет реагировать быстро. Иначе как Арбайтен, пойдет работать в такси) ред.

0

Чё реально?

0

Я имею ввиду ровно то, что написал. Вы рано радуетесь, так как отбили только первую атаку. И падение ПФ у вас еще впереди. :)

0

И как работать с этим знанием? Есть ли смысл пилить семантику, дизайн, вот это вот всё? 

1

Этот вопрос все себе задают. Я тоже на него ответа не знаю, хотя мы отбили уже то ли пять, то ли шесть волн этой атаки. :) Результаты в каждом случае разные.

1

Есть нюанс.
Сайт - информационник, его краешком зацепило, потому что ранжируется по запросам из спектральной выдачи. Так что может и пронести, крутить-то будут, с большей степенью вероятности, более коммерческие запросы. ред.

0

Как показала практика тех, кто словил это немного раньше, крутят до вылета.

0

Так-то да, списки никто менять не будет, вероятно.
Но шанс всё же есть, как минимум, не на уровне хоста посыплется, а именно по страничкам со спектром.

0

А вот интересно будет в перспективе стату посмотреть.
Я по сеошной выдаче сужу: да, под накрутчиками попадали и такие монстры, как "Ашманов" и прочие топовые (когда-то). Но кто-то вылетел вообще, а самые раскрученные в плане брендов  периодически всплывают до топов.
Всё таки объёмы трафика (особенно - тайп-ин) накрутки могут нивелировать. К сожалению, какой там тайп-ин для большинства игроков рынка.

2

Наивный взгляд )) Нынче боты уже с обычных браузеров умеют заходить, и движения мышью на уровне OS эмулируют.
Те же puppeteer / sikuli и прочие.
Вам удалось отсеять какой-то мусор, но если кто-то всерьёз решится вам насолить - они это легко сделают 

1

Почитайте первый пост, про выгуливание ботов на сайтах, поймёте смысл действий.

0

Подскажите пожалуйста:
1. в течении какого времени после установки Cloufflare восстановились позиции сайта?
2. Если мой сайт атаковали с апреля 2020 года, а меры я принял только несколько недель назад, сайту уже капут или еще есть шанс?

0

Через 2 недели были положительные изменения, через месяц все вернулось.
Что будет почти через год - наверняка придется заново получать статистику поведенческих. 

0

Ну не то чтоб насолить. Просто, похоже, какая-то тематика, где накрутками пока мало кто двигается, и объёмы бототрафа малы.

0

Если опубликуете пошаговую инструкцию по настройке Cloudflare (или кто-то ее опубликует) - будем бомба!

1

У меня на инфосайте 100 000 ботов в сутки (скрин 1). Уже нашёл конкурента (очень резкий рост запросов сайта по wordstat, нулевое ссылочное, 95% трафика из Яндекса), который за пол года накрутки поведенческих дошёл до 30 000 посетителей в сутки (скрин 2). 

Ну заблокируете вы ботов, а что с выдачей делать будете, где вас обошли конкуренты  накрутчики? Проблему может только Яндекс решить. 

Я же для себя пока решил полностью переориентироваться на Google и планирую с Метрики тоже слезать, в ней уже нет смысла. ред.

1

Все конкуренты умирают, не знал в своих нишах ни одного, кто прожил больше 6 месяцев с накруткой.
Я конечно не в курсе, как там в Окнах, или Выносе мусора )) Наверняка только накрутчики и живут.

0

накрутка поведенческих, особенно агрессивная, это надо относиться как к дорвеям, это не работа на бренд, это побыстрому срубить трафа, чтоб на момент бана уже был готов очередной сайт копия на новом домене для топа.

0

Вот так взять и срезать канал, в котором минимум 50-60% потенциальных клиентов?
Гугл тоже не сахар, если что.

0

Объясните, пожалуйста, что это такое AS15169 Google и AS13238 Yandex

0

Подсети

1

Почему AS15169 - Google написано через тире
а яндекс просто через пробел?
AS13238 Yandex
это важно или нет?

попробовал установить такой же фильтр в фаервол...
трафик, вообще, пропал)))
пока отключил

0

Привет, не совсем понял как вы фильтруете ботов на турбостраницах?

0

Фильтр только на прямой трафик. В турбо страницах ботов метрика пока не показывает

0

Я знаю, что не показывает, но они там есть и также могут влиять.

1

а какой процент отказов после ввода капчи у вас наблюдается?

0

Процент отказов не изменился

0

Фильтр для пропуска ботов странноватый — где вы видели, чтобы в User-agent у легитимных поисковых ботов указывался ASHandle (AS№№№№№)?

Или это какой-то клаудфлэровский wildcard, который они сами корректно интерпретируют?

0

Плюс статье. Недавно столкнулись с подобным на одном из клиентских сайтов: Cloudflare очень даже выручает. Может не на 100%, но в том объеме, в котором необходимо, чтобы обезопасить сайт от негативных последствий.

0

Спасибо за материал! 💪

0

Привет, ниша лидген?

0

Спасибо, пробуем делать аналогично

0
Читать все 50 комментариев
Как мы проводили командную ретроспективу в Minecraft

Рассказываем историю, на что стоит обратить внимание при проведении командного мероприятия в игре Minecraft, какие грабли могут быть, как организовать онлайн- и офлайн-участие.

Компонент в Figma с нулевыми размерами. Приёмы и фишки

Как сделать компонент с размерами 0 на 0 пикселей, и где это можно применить.

Обзор книги: «Влияние без авторитета»
Нужны ли в России сити-фермы

И появятся ли грядки на крышах пятиэтажек.

re-thinkingthefuture.com
«На новую систему потратили не более 1 млн рублей»: баттл предпринимателей о том, как модель управления бизнесом лучшая

Владельцы «Перилаглавснаб», Gartel, Compleader и «Архитектуры благополучия» — о том, почему модные «бирюзовые организации» не для всех, как выдержать трёхкратный рост бизнеса и не работать по 14 часов в день.

Из жизни клуба
Переход бизнеса на Apple: нет причин отказывать себе в удовольствии

Работать на устройствах Apple – это просто, удобно, приятно, современно. А еще, как продолжают считать некоторые – дорого и не для всех. Однако это не так: хотя «яблочные» устройства и работают в каждой международной корпорации из Fortune 500, сегодня они доступны практически любой SMB-компании, стартапу, и даже общеобразовательной школе. Причина кроется как в самих технологиях Apple, так и в выстроенных вокруг них сервисных программах.

Как традиционному малому бизнесу превратиться в стартап: план действий

Сейчас в России предприниматели переходят из традиционного малого бизнеса в стартапы очень редко — меньше чем в 0,02% случаев. Это не больше 1 000 стартапов из около 6 млн предприятий малого бизнеса. Поговорим о том, что мешает предпринимателям и как действовать, если есть желание создать стартап.

Готовы выбрать победителя премии «Экспортер года eBay — 2021»?
Повелись на красивые кейсы таргетологов из «Hope group» и вот что из этого вышло

В августе я наткнулся на vc.ru не кейсы ребят из «Hope group», с ними вы можете ознакомиться по этой ссылке. И на удивление кейсы показались супер адекватными ведь в них ребята оперируют не кликами, показами и прочими ничего не значащими показателями, а конкретными продажами и конверсиями. Я связался с основателем и в сентябре мы подписали…

Министерство транспорта предложило устанавливать в такси устройства контроля за усталостью водителя Статьи редакции

И размещать на крыше автомобиля оранжевый фонарь.

null