{"id":13575,"url":"\/distributions\/13575\/click?bit=1&hash=54c6a175f6d55810c4f2e9679d708c81b0c9477871e16c95ac727223b9e48b92","title":"\u0410\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0440\u0435\u043d\u0434\u044b \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u0430","buttonText":"","imageUuid":"","isPaidAndBannersEnabled":false}

Борьба с странными переходами из соцсетей и прямыми заходами

Напишу мой опыт в борьбе с накруткой негативного ПФ. Пациент https://kvartirnyj-remont.com

Начало накрутки я благополучно прозевал и крутили меня около года.

Как видите накрутка была плавной и трафик медленно падал. За позициями я не следил, каюсь :( В ноябре стало совсем грустно по трафику и я заметил накрутку ПФ, а так же тему на searchengines.

Как определил ботов

  1. Заходы из мобильных подсетей.
  2. Прямые заходы на сайт.
  3. Малая активность могут все время стоять на 1 экране и дергать мышь или тач.
  4. Посещение 1 страницы
  5. Относительно малое время посещения 15-25 сек.
  6. Нет повторности заходов.

Выбрал метод борьбы через Cloudflare

Сразу поставил капчу на весь мобильный трафик = много реальных пользователей пострадало. Процент разгадывания капчи доходил до 20%. А ведь многие могут не разгадывать и уходить.

Но, ботов это остудило. Переходы из соц сетей и других сайтов с подставленным рефером пропали. Остались только прямые заходы. И трафик пополз вверх, видимость по позициям подтянулась на 2%.

Очень сильно упала доходность по рекламе и было принято решение ослабить хватку. Стал блокировать по отдельным страницам.

Теперь, вроде, режет только ботов, во всяком случае разгадывание капчи упало до нуля. Доход по рекламе восстановился. Падение трафика и позиций не происходит. Вроде есть рост, но очень-очень медленный.

Попутно нашел много подсетей с хостингов и vps, от туда были плохие переходы. Заблокировал.

Сразу перестали работать всякие автоматические аудиты сайта. Ну они мне и не нужны. Разгадывание капчи там примерно 2-3%. Я думаю это сидящие под vpn. Может я не прав, буду рад услышать в комментариях?

Ну и напоследок самое главное: как не помешать нашим любимым роботам от гугла и яндекса. Я реализовал так:

Надеюсь что мой опыт кому-то поможет. Буду рад услышать замечания и предложения. Строго не ругайте, первый раз публикуюсь здесь.

0
26 комментариев
Написать комментарий...
Zoibana
Ответить
Развернуть ветку
Zoibana

Желтым - неадекватный рост прямых заходов и резкое восстановление показателей сразу после ввода примитивной капчи - галка и кнопка, разгадывать ничего не надо

Ответить
Развернуть ветку
Сергеенков Александр
Автор

Можете дать код, протестирую у себя?

Ответить
Развернуть ветку
Zoibana

Вот самое примитивное решение

(особо не тестировал)

https://gist.github.com/zoibana/cf995cf872a24fb97847a6e6a5d2cbef

нужно вставить этот код в файл, который вызывается на всех страницах сайта

Ответить
Развернуть ветку
Сергеенков Александр
Автор

Спасибо, посмотрю.

Ответить
Развернуть ветку
Zoibana

У меня уже был кусок кода, отвечающий за блокировки, и я его слегка доработал., там используется очень много методов разных сторонних классов, поэтому чистого решения для этого у меня нет, даже если дам код, он у вас просто не заработает, потому что он тянет очень много зависимостей.

Общая логика такая:
1. Проверяем юзерагент на наличие строки "Android" и пустой реферер (прямые заходы с андроидов).
2. Проверяем у таких юзеров наличие в сессии (или любом другом хранилище на стороне сервера) флага (любая пометка) что пользователь прошел проверку (капчу)
3. Если юзер прошел проверку (есть флаг) - показываем сайт как обычно
4. Если юзер не прошел проверку (нет флага) - показываем страницу с капчей.
5. На странице капчи есть фраза "Пожалуйста, поставьте галочку и нажмите кнопку "войти",  POST-форма с обычной галочкой (не рекапча) "я - человек" и кнопка "войти".
6. Если пользователь поставил галочку и нажал кнопку (проверяем на стороне сервера наличие в POST-параметрах поставленной галочки ) - ставим ему флаг что он прошел проверку и следующие запросы он будет попадать сразу на шаг 3.

Ответить
Развернуть ветку
Avdotii Pedishnii

можно еще и куку ставить на месяц.

Ответить
Развернуть ветку
Сергеенков Александр
Автор

Я читал. Вы меня вдохновили поделиться опытом. Возможно коллективно придумаем как бороться эффективно.

Ответить
Развернуть ветку
Константин Скобеев

удалено. дубль

Ответить
Развернуть ветку
Ваня Пупкмн

Начнём с того, что редко крутят сайт, чтобы утопить. Обычно крутят свой сайт в +. А не 9 сайтов конкурентов в -. Ресурсов не хватит. 

Ответить
Развернуть ветку
Сергеенков Александр
Автор

Нагуливают профиля, перед накруткой своих сайтов. Но время посещения маленькое, просмотры страниц тоже и это негативная накрутка ваших ПФ.

Ответить
Развернуть ветку
Виктор Петров

Не согласен. Траф из соцсетей, как правило, на уровне 100% отказа, как и по ссылкам даже когда он органический. Ботовый же из соцсетей, как правило, не бывает "отказным" - ботам историю нагуливают, пытаясь создать максимально естественный профиль.
По моим наблюдениям, трафик во время выгула ботов может даже пойти на пользу. На время. До того момента, когда пойдёт скрутка из серпа с убитым last-click и ростом CTR.

Ответить
Развернуть ветку
Сергеенков Александр
Автор

Да, вы правы время у бота не отказное, но в интервале 15-25 сек. Если среднее у меня на сайте 2 мин, то тогда общее среднее начинает стремиться к 1 мин. Не думаю что это пойдет на пользу сайту.

Ответить
Развернуть ветку
Александр Домени

Можете еще попробовать https://botfaqtor.ru/sites-antibot альтернатива Cloudflare, только с немного другим функционалом.

Ответить
Развернуть ветку
Сергеенков Александр
Автор

Забыли добавить, что это платное решение.

Ответить
Развернуть ветку
Michael

не понимаю для чего это? показать Яндексу, что это кручу не я? защита от санкций? я не видел еще ни одного поста о том, что попал под фильтр из-за скрутки. +прямые заходы и переходы по ссылкам оказывают влияние в разы меньше, чем переходы из ПС.

Ответить
Развернуть ветку
Виктор Петров

Так они и не влияют фактически, это просто артподготовка. А вот фрод с выдачи работает примерно вот так.

Ответить
Развернуть ветку
Michael

Подготовка?) почему бы сразу не крутить из поиска? 

Ответить
Развернуть ветку
Виктор Петров

Фингерпринты. Яндекс даже с логином, но со стёртой историей и без кук капчу показывает. А так получается живой человек, с историей и интересами.
По моим наблюдениям, даже в режиме "инкогнито" метрика визит по запросу не показывает и записывает в роботы. 

Ответить
Развернуть ветку
Michael

Ну и я про фингерпринты. Типа кто будет так часто заходить на твой сайт из соц сетей? Да и прямые переходы в больших количествах тоже. Если это не какой-то инфоресурс... По чуть чуть да 

Ответить
Развернуть ветку
Виктор Петров

Работает же. Не единственная. конечно, схема, но проверенная.

Ответить
Развернуть ветку
Виктор Петров

Без данных по динамике CTR на кейс не тянет. У вас по позициям летом в 2020 была короткая просадка, всё остальное, фактически, флэт. По трафу нет характерных пиков, наоборот - плавное падение.
Иными словами, я думаю, что тут дело не в накрутках - тем более, что у вас информационник.

Ответить
Развернуть ветку
Александр Ю

спасибо за статью. Тоже по советам зевак, забил сначала на эти заходы. В итоге спустя полгода, все сайты потеряли позиции, те с 1 страницы улетели на 5-10 страницу. Сейчас переношу все сайты под клаудфаер, но все равно часть заходит, уже стали заходить через внутренние страницы. Борьба продолжается с ботами и по сей день. Блокирую по рефереру и подсетям

Ответить
Развернуть ветку
Роман Мельников

Тоже одолели боты, было где-то 90% от всего трафика прямыми заходами (~50000 уников в сутки). Перечитал массу инструкций, но все так или иначе пришлось сильно дорабатывать. Вот здесь нашел самый быстрый и наиболее разжеванный способ блокировки: https://zahek.livejournal.com/455.html

Ответить
Развернуть ветку
AksNet RU

Не всегда прямые заходы это боты или люди из закладок. Сейчас открытые страницы сайта во многих мобильных приложениях, те же чаты или телеграмм, отмечаются как прямые https://ddr5.ru/pryamye-zahody-v-metrike/

Ответить
Развернуть ветку
Fase Bosty

Благо, что у меня проблем никаких с этим нет. Я для раскрутки сервис zenlink использую, размещение ссылок происходит на тематических площадках, так что переходы на сайт осуществляют живые люди, а не боты. Причем активная целевая аудитория, поэтому и конверсия на сайте довольно высокая. 

Ответить
Развернуть ветку
Читать все 26 комментариев
null