Напишу мой опыт в борьбе с накруткой негативного ПФ. Пациент https://kvartirnyj-remont.com
Начало накрутки я благополучно прозевал и крутили меня около года.
Как видите накрутка была плавной и трафик медленно падал. За позициями я не следил, каюсь :( В ноябре стало совсем грустно по трафику и я заметил накрутку ПФ, а так же тему на searchengines.
Как определил ботов
- Заходы из мобильных подсетей.
- Прямые заходы на сайт.
- Малая активность могут все время стоять на 1 экране и дергать мышь или тач.
- Посещение 1 страницы
- Относительно малое время посещения 15-25 сек.
- Нет повторности заходов.
Выбрал метод борьбы через Cloudflare
Сразу поставил капчу на весь мобильный трафик = много реальных пользователей пострадало. Процент разгадывания капчи доходил до 20%. А ведь многие могут не разгадывать и уходить.
Но, ботов это остудило. Переходы из соц сетей и других сайтов с подставленным рефером пропали. Остались только прямые заходы. И трафик пополз вверх, видимость по позициям подтянулась на 2%.
Очень сильно упала доходность по рекламе и было принято решение ослабить хватку. Стал блокировать по отдельным страницам.
Теперь, вроде, режет только ботов, во всяком случае разгадывание капчи упало до нуля. Доход по рекламе восстановился. Падение трафика и позиций не происходит. Вроде есть рост, но очень-очень медленный.
Попутно нашел много подсетей с хостингов и vps, от туда были плохие переходы. Заблокировал.
Сразу перестали работать всякие автоматические аудиты сайта. Ну они мне и не нужны. Разгадывание капчи там примерно 2-3%. Я думаю это сидящие под vpn. Может я не прав, буду рад услышать в комментариях?
Ну и напоследок самое главное: как не помешать нашим любимым роботам от гугла и яндекса. Я реализовал так:
Надеюсь что мой опыт кому-то поможет. Буду рад услышать замечания и предложения. Строго не ругайте, первый раз публикуюсь здесь.
Тут писал свой опыт: https://vc.ru/seo/216234-otvet-na-post-nakrutki-povedencheskih-faktorov?comment=2543194
Желтым - неадекватный рост прямых заходов и резкое восстановление показателей сразу после ввода примитивной капчи - галка и кнопка, разгадывать ничего не надо
Можете дать код, протестирую у себя?
Вот самое примитивное решение
(особо не тестировал)
https://gist.github.com/zoibana/cf995cf872a24fb97847a6e6a5d2cbef
нужно вставить этот код в файл, который вызывается на всех страницах сайта
Спасибо, посмотрю.
У меня уже был кусок кода, отвечающий за блокировки, и я его слегка доработал., там используется очень много методов разных сторонних классов, поэтому чистого решения для этого у меня нет, даже если дам код, он у вас просто не заработает, потому что он тянет очень много зависимостей.
Общая логика такая:
1. Проверяем юзерагент на наличие строки "Android" и пустой реферер (прямые заходы с андроидов).
2. Проверяем у таких юзеров наличие в сессии (или любом другом хранилище на стороне сервера) флага (любая пометка) что пользователь прошел проверку (капчу)
3. Если юзер прошел проверку (есть флаг) - показываем сайт как обычно
4. Если юзер не прошел проверку (нет флага) - показываем страницу с капчей.
5. На странице капчи есть фраза "Пожалуйста, поставьте галочку и нажмите кнопку "войти", POST-форма с обычной галочкой (не рекапча) "я - человек" и кнопка "войти".
6. Если пользователь поставил галочку и нажал кнопку (проверяем на стороне сервера наличие в POST-параметрах поставленной галочки ) - ставим ему флаг что он прошел проверку и следующие запросы он будет попадать сразу на шаг 3.
можно еще и куку ставить на месяц.
Я читал. Вы меня вдохновили поделиться опытом. Возможно коллективно придумаем как бороться эффективно.
удалено. дубль
Начнём с того, что редко крутят сайт, чтобы утопить. Обычно крутят свой сайт в +. А не 9 сайтов конкурентов в -. Ресурсов не хватит.
Нагуливают профиля, перед накруткой своих сайтов. Но время посещения маленькое, просмотры страниц тоже и это негативная накрутка ваших ПФ.
Не согласен. Траф из соцсетей, как правило, на уровне 100% отказа, как и по ссылкам даже когда он органический. Ботовый же из соцсетей, как правило, не бывает "отказным" - ботам историю нагуливают, пытаясь создать максимально естественный профиль.
По моим наблюдениям, трафик во время выгула ботов может даже пойти на пользу. На время. До того момента, когда пойдёт скрутка из серпа с убитым last-click и ростом CTR.
Да, вы правы время у бота не отказное, но в интервале 15-25 сек. Если среднее у меня на сайте 2 мин, то тогда общее среднее начинает стремиться к 1 мин. Не думаю что это пойдет на пользу сайту.
Можете еще попробовать https://botfaqtor.ru/sites-antibot альтернатива Cloudflare, только с немного другим функционалом.
Забыли добавить, что это платное решение.
не понимаю для чего это? показать Яндексу, что это кручу не я? защита от санкций? я не видел еще ни одного поста о том, что попал под фильтр из-за скрутки. +прямые заходы и переходы по ссылкам оказывают влияние в разы меньше, чем переходы из ПС.
Так они и не влияют фактически, это просто артподготовка. А вот фрод с выдачи работает примерно вот так.
Подготовка?) почему бы сразу не крутить из поиска?
Фингерпринты. Яндекс даже с логином, но со стёртой историей и без кук капчу показывает. А так получается живой человек, с историей и интересами.
По моим наблюдениям, даже в режиме "инкогнито" метрика визит по запросу не показывает и записывает в роботы.
Ну и я про фингерпринты. Типа кто будет так часто заходить на твой сайт из соц сетей? Да и прямые переходы в больших количествах тоже. Если это не какой-то инфоресурс... По чуть чуть да
Работает же. Не единственная. конечно, схема, но проверенная.
Без данных по динамике CTR на кейс не тянет. У вас по позициям летом в 2020 была короткая просадка, всё остальное, фактически, флэт. По трафу нет характерных пиков, наоборот - плавное падение.
Иными словами, я думаю, что тут дело не в накрутках - тем более, что у вас информационник.
спасибо за статью. Тоже по советам зевак, забил сначала на эти заходы. В итоге спустя полгода, все сайты потеряли позиции, те с 1 страницы улетели на 5-10 страницу. Сейчас переношу все сайты под клаудфаер, но все равно часть заходит, уже стали заходить через внутренние страницы. Борьба продолжается с ботами и по сей день. Блокирую по рефереру и подсетям
Тоже одолели боты, было где-то 90% от всего трафика прямыми заходами (~50000 уников в сутки). Перечитал массу инструкций, но все так или иначе пришлось сильно дорабатывать. Вот здесь нашел самый быстрый и наиболее разжеванный способ блокировки: https://zahek.livejournal.com/455.html
Не всегда прямые заходы это боты или люди из закладок. Сейчас открытые страницы сайта во многих мобильных приложениях, те же чаты или телеграмм, отмечаются как прямые https://ddr5.ru/pryamye-zahody-v-metrike/
Благо, что у меня проблем никаких с этим нет. Я для раскрутки сервис zenlink использую, размещение ссылок происходит на тематических площадках, так что переходы на сайт осуществляют живые люди, а не боты. Причем активная целевая аудитория, поэтому и конверсия на сайте довольно высокая.