Накрутка ПФ: Мои методы борьбы с накруткой

В последнее время особенно часто вебмастера сталкиваются с такой ситуацией, когда в сводках Яндекс. Метрики наблюдается поток неестественного трафика. Это могут быть заходы из поисковых систем, прямые заходы, либо с каких-то непонятных сайтов, где даже нет ссылок на ваш ресурс. И вот эта неестественная активность отражается в статистике.

Речь идет о сознательной накрутки ботами поведенческих факторов. Сначала они гуляют по разным сайтам, гуляют много, интересно, нигде не задерживаясь, после чего заходят на тот, где должны повысить поведенческие факторы (ПФ), проводят там какое-то время и больше уже не возвращаются в выдачу. Хотя могут и вернуться, но по другим запросам. ПФ теперь не то, сколько человек находится на вашем сайте и как долго они там. Имеет значение только совокупность действий. Именно ее и демонстрируют боты.

Поведенческие факторы ранжирования в поисковые системы были добавлены сравнительно недавно. На формулу ранжирования в Яндексе они влияют на 100%, значимость ПФ в Google сильно ниже. За их накрутку у Яндекса есть штрафные санкции на домен и его историю. Google не штрафует, но позиции снижает. И совсем непонятно, как они эту накрутку распознают, и как накладывают штрафные санкции.

На какие же ПФ воздействуют автоматизированные средства накрутки:

При массовой атаке ботами, лучший вариант для вас - испорченные показатели в Яндекс. Метрике, что никак не скажется на посещаемости. В худшем - понижение позиций сайта в выдаче за накрутку на срок до 12 месяцев.

«Кому война, а кому мать родна». Данная пословица в полной мере отражает создавшуюся ситуацию. Одни пытаются всеми силами защититься от атак ботами, другие - активно зарабатывают на этом. Война закончится лишь тогда, когда ПФ пропадут, как фактор ранжирования. Но такое вряд ли случится.

На самом деле, неестественная активность под собой имеет несколько причин:

Сам Яндекс эту проблему пока не считает проблемой. Он еще только в будущем собирается усовершенствовать систему фильтрации. Счетчик Метрики лишь фиксирует информацию о визитах, и нет возможностей повлиять на трафик, сообщает Яндекс, и, как обычно, отправляет в службу поддержки Вебмастера. Складывается впечатление, что Яндекс не ставит задачу поймать накрутчиков. Если бы ему это было нужно, он нашел способы. А пока проблема только ваша.

Если накрутка идет меньше 2-3 недель, то можно поступить так, как советует Яндекс:

Скорее всего Яндекс ответит так, как описано выше. А может даже и обнадежит в завуалированной форме. Что-то типа того, что сигнал получен, и возможно на ваш сайт не будут наложены штрафные санкции за накрутку.

А пока ботоводы прогрессируют, смотрят, что работает, а что нет, крутят ПФ, выходят в ТОП. Цели при этом преследуются разные: убрать конкурентов, поэкспериментировать с показателями, убрать из ТОП-выдачи сайты по конкретным запросам. Происходит это всегда одинаково: пишется скрипт накрутки и бот ведет себя на сайте как реальный пользователь. Заходит с разных браузеров, использует динамический IP или прокси-сервер, делает внутренние переходы по ссылкам, оставляет комментарии.

Поскольку паразитный трафик ведет себя самым естественным образом, то методы фильтрации для него уже не работают.

Конечно можно провести исследование и определить регион, с которого идут переходы, или IP пользователей. И по этим признакам провести блокировку. Однако жесткая блокировка подсетей, по типу устройства и поведению, может привести к тому, что ваш сайт станет недоступен реальным пользователям.

Мониторить метрику, накрученную ботами, абсолютно бессмысленно. Они сводят на нет всю статистику посещаемости. По партнерским ссылкам переходят, но никто ничего не покупает. Все данные метрики и гугл. аналитики превращаются в филькину грамоту. И возникает извечный вопрос - что делать, и как с этим жить.

Кое-что все же можно попытаться сделать.

Чтобы избавить себя от возможных проблем в настоящем и недалеком будущем, можно слегка изменить код метрики. Убрать его с глаз людей, роботов, браузеров без js, и других недоброжелательных элементов, сканирующих контент. К тому же сделать это несложно:

<script src="сайт.ru/toolbar.js"></script>

Например, так: .

<script> (function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)}; m[i].l=1*new Date();k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)}) (window, document, "script", "https://cdn.jsdelivr.net/npm/yandex-metrica-watch/tag.js", "ym"); ym(12345678, "init", { clickmap:true, trackLinks:true, accurateTrackBounce:true, webvisor:true });</script>

Произведенные действия никоим образом не скажутся на работе метрики. Не будет учитываться только мусорный трафик, остальные данные продолжат поступать в том же объеме.

Что еще можно сделать?

Всех не надо, только тех, через которые вы не продвигаетесь.

Instagram можно оставить, поскольку он дает поставить только одну ссылку в профиле. И вряд ли найдутся альтруисты, которые будут ссылаться на ваш сайт из своего профиля. Иллюзий питать не надо.

Яндекс-Дзен вообще ссылки не любит, за них легко получить пессимизацию канала.

Твиттер и «Мой Мир» от Mail.Ru можно сразу забанить без какого-либо ущерба для себя, из-за их низкой популярности.

Относительно других сетей, то тут можно банить лишь переходы на те статьи, которые в последние месяцы размещались на главной странице сайта, а также контент, куда поступает самый масштабный трафик.

Заходим в Метрику, переходим на вкладку «Настройки»→«Фильтры». Выбираем тип фильтра: «Исключить трафик», «Поле» - url страницы, «Условие» - содержит. В пункте «Значение» будет стоять идентификатор.

Такой фильтр нужно ставить только краткосрочно, во время агрессивных атак. Потому как в аналитике он отключает и реальные переходы.

Те сервисы, что занимаются накруткой трафика, предлагают своим пользователям совершать с протокола http поддельные переходы на чужие сайты. С https так сделать нельзя, поскольку у них другой подход к защите трафика. Поэтому подобные переходы с левых сайтов нужно сразу отсекать. При наличии рабочих ссылок с сайтов с незащищенным протоколом, просто добавьте их в избранное.

Если проведенные исследования показали, что атака идет с разных IP, которые принадлежат одному оператору, то блокировка одного айпишника ничего не даст. Необходимо банить весь диапазон. IP-адреса передаются в WebVisor, поэтому его необходимо включить в настройках счетчика.

Когда в служебном файле .htaccess нужно заблокировать доступ по диапазону, то прежде всего следует вычислить CIDR (метод для выделения IP-адресов и для IP-маршрутизации). Зная сам IP, это несложно сделать с помощью сетевого протокола Whois.

Однако данный способ отнюдь небезопасный, поскольку боты используют реальные IP мобильных операторов (Билайн, Мегафон, МТС). Велик риск отсечь солидную часть живых пользователей с мобильных устройств.

Если грузить счетчик только при переходе из поиска или конкретных сайтов, то его смогут увидеть ограниченное число пользователей.

PHP хранит информацию из referer в системной переменной HTTP_REFERER. И если скрипт на PHP находит переход из списка разрешенных доменов, то грузит счетчик на страницу. Однако надо иметь ввиду, что его не будут видеть те пользователи, которые перешли из закладок браузера или при вводе адреса вручную (прямой и закладочный трафик). И если данный вид трафика является основным для вашего сайта, то этот вариант не про вас.

Нельзя сказать, что описанные здесь методы, полностью рабочие. Каждый из них, конечно же, можно использовать, но с оглядкой. Главное, не сделать еще хуже, чем было.

И все же, пока Яндекс и Гугл не возьмут ситуацию под свой контроль, вряд ли можно считать себя в безопасности. Пока что единственный путь - конкурировать через развитие ресурса и продукта.