Новый алгоритм Яндекс.Метрики не фильтрует ботов? Делимся наблюдениями из финансовой сферы

Credeo — агрегатор залогового кредитования. С января 2021 года мы работаем над увеличением видимости сайта в поисковых системах, так что внимательно смотрим за позициями в поиске и анализируем поведение посетителей, которые из него приходят.

В последнее время на позицию сайта в результатах поиска Яндекса сильно влияют поведенческие факторы, то есть то, как пользователь ведёт себя на сайте. Если он совершает конверсионное действие и не возвращается в поиск — это хорошо. Если быстро уходит и продолжает искать — плохо. Чем «лучше» пользователи взаимодействуют со страницей, тем выше она в результатах поиска.

В финансовой сфере высокая конкуренция и большие бюджеты, так что компании часто используют ботов, которые мимикрируют под обычных пользователей. Боты выполняют на сайтах действия, которые могут влиять на ранжирование: листают страницы, переходят по ссылкам. Так роботы накручивают поведенческие характеристики своим страницам, а конкурентам — ухудшают.

Задача поисковых систем — определять таких ботов и не учитывать их при ранжировании. Но наш опыт подсказывает, что этого не происходит. По крайней мере, Яндекс.Метрика принимает ботов за обычных людей и включает их в статистику. Предполагаем, что в алгоритме поиска ситуация не лучше.

Возьмём для примера запрос «автоломбард тёплый стан». Метрика показывает, что по этому запросу на нашем сайте есть периодические всплески визитов из поиска:

По нашей метрике в июле, а затем в сентябре–октябре существенно рос трафик по запросу «автоломбард тёплый стан»

При этом статистика Вордстата показывает, что никаких аномалий в это время не должно быть — частота запросов в это время года, наоборот, снижается. Очевидных причин для роста посещений из поиска нет, но визитов больше.

Динамика частоты запросов «автоломбард тёплый стан»: в июле и начале осени никаких всплесков нет

Если посмотреть глубже, видна ещё одна проблема: существенная часть запросов идёт совсем не из Тёплого стана. Пушкинский район и Красногорск — на противоположном конце Москвы, Киев — в 850 километрах. Подозрительно.

Каждый десятый запрос «автоломбард тёплый стан» — из Киева

Когда мы смотрим записи визитов по этому запросу в Вебвизоре, подозрения только усиливаются. Посетители иногда продолжительно скроллят наверх, когда уже находятся наверху сайта, или листают страницу, когда она перекрыта всплывающим баннером. Обычные люди не смотрят сайты таким образом, а боты — вполне.

Подозрительное происходит и при сравнении статистики Вебмастера и Метрики. Первый сервис показывает 4 визита из поиска, второй — больше 20. Конечно, разница может быть, но не почти в 6 раз.

Данные вебмастера:

Данные метрики:

Похоже, на сайт регулярно заходят боты — но не краулеры, а те, которые притворяются обычными пользователями. Ничего хорошего от этих посещений мы не ожидаем. Поддержка Яндекса прокомментировать такие визиты не может:

«Не могу прокомментировать, кто и с какой целью осуществляет подобные посещения»

В сентябре 2021 года Яндекс анонсировал новый алгоритм Метрики, который должен фильтровать таких ботов. Многие заметили, что трафик после изменений действительно несколько просел — мы тоже. Стало ли лучше на самом деле? Не уверены.

Посмотрим на примере того же запроса «автоломбард тёплый стан»:

Количество визитов из поиска до и после появления алгоритма отличается несущественно. Если посмотреть записи этих визитов подробнее, то подозрения только крепнут.

Вот пользователь почти сразу после захода на сайт оказывается на странице с политикой в отношении обработки персональных данных. Хотя ссылки на эту страницу в области видимости нет, да и пользователь не делал характерный для перехода тап

Ещё один пример без тапов: пользователь скроллит сайт, но при этом не дотрагивается до него

В этом визите пользователь долго скроллит наверх — хотя и так находится на самом верху сайта

Здесь пользователь долго изучал калькулятор, но после перехода на страницу с офером резко его пролистывает — хотя это самое важное на странице — и изучает блок с перелинковкой

Мы обратились с вопросом к поддержке Яндекса: новый алгоритм влияет только на Метрику или в том числе на ранжирование сайтов в поиске? То есть, стали ли результаты поиска менее зависимы от ботов? Оказывается, прямого ответа нет: алгоритмы Метрики и антифрода в поиске не связаны.

Данное обновление касается именно системы определения роботов в Яндекс.Метрике, а не других систем антифрода

Есть ещё одно любопытное наблюдение: визиты из Яндекс.Браузера всегда фиксируются как визиты обычных людей. Если будете делать похожие анализ в своей Метрике — обратите внимание на такие заходы.

Короткий итог.

1. В финансовой сфере в поиске много роботного трафика, который может накручивать поведенческие факторы и влиять на ранжирование. Его легко вычленить по аномалиям в статистике и при просмотре записей в Вебвизоре.

2. В Яндекс.Метрике обновились алгоритмы, которые должны фильтровать такой трафик. Но наш опыт показывает, что алгоритм справляется не особо успешно: много роботных визитов считываются за обычных людей.

3. Алгоритмы Метрики и антифрода в Поиске развиваются независимо, но если Метрика не справляется, как можно полагать, что в Поиске ситуация лучше?

Если вы оптимизируете сайт и вкладываете в это существенные ресурсы, имейте в виду, что конкуренты могут топить вас ботами. И, судя по всему, Яндекс вам здесь не особо поможет.

Предлагаем обсудить: что можно сделать, чтобы снизить влияние роботного трафика на наши позиции в поиске?

Возможно, кто-то из вас сталкивался с подобным и находил методы борьбы с роботами на сайте? Вот несколько наших идей — можем вместе додумать их или реализовать общими силами:

1. Применить социальное давление: публиковать больше примеров, которые показывают несовершенство Яндекса. Присоединяйтесь!

2. Постоянно дёргать поддержку Яндекса, пересылать им сообщения о ботах, которых мы вычисляем по вебвизору.

3. Каким-то образом фильтровать ботов, используя специальные антиботы. Если у вас есть такой опыт — поделитесь.