Вебмастера в Рунете отмечают массовое нашествие ботов

Если вы активно используете Яндекс Метрику, с большой долей вероятности вы отметили аномальный рост переходов из социальных сетей. Начиная с марта 2020 года (по данным вебмастеров) на сайтах многих вебмастеров начался активный рост паразитного трафика.

Яндекс Метрика - Источники - Сводка - Атака ботов Марк Климов

Социальные сети

Боты идут из социальных сетей Вконтакте, Facebook, Одноклассники, Instagram, Twitter, Мой Мир@Mail.ru. В среднем боты проводят на сайте 25 секунд и покидают сайт.

Переходы из социальных сетей с низкими пф Марк Климов

География и браузеры ботов

По наблюдениям вебмастеров боты используют для атаки IP российских мобильных операторов, что значительно затрудняет их блокировку. Так как под бан попадут пользователи мобильного интернета.

География ботнета Марк Климов

Чаще всего (58%) боты используют браузер Chrome Mobile. На втором месте Mobile Safari (11%) и на третьем Яндекс Браузер (6%).

Используемые ботами браузеры Марк Климов

Переходы с сайтов

Переходы совершаются с самых разных сайтов, нет никакой закономерности в тематике. За месяц на мой сайт с посещаемостью миллион в месяц боты совершили переходы с 11 000 различных доменов. На второй сайт с посещаемостью 92 000 в месяц совершены переходы с 2 755 доменов. На двух моих сайтах список этих доменов повторяется. Как я понял, боты искусственно вставляют ссылки путём изменения исходного кода в своём эмуляторе браузера. Отдельно стоит упомянуть резко выросший трафик из YouTube на атакуемых сайтах.

Переходы с крупных сайтов Марк Климов

Попытки отфильтровать данных ботов средствами самой Метрики к результатам не приводят. Судя по всему злоумышленникам удается достаточно эффективно обманывать алгоритмы Метрики.

Фильтрация роботов в настройках Яндекс Метрики Марк Климов

Ущерб для сайтов

Как отмечают пользователи searchengines у многих сайтов в результате роста паразитного трафика значительно падают позиции в выдаче.

Реакция техподдержки Яндекса

На предоставленные факты Платон Щукин заверяет, что алгоритмы Яндекса умеют распознавать попытки негативного воздействия и переживать не стоит.

Ответ Яндекса на e-mail с информацией о падении позиций после ботов Марк Климов
Ответ Яндекса на e-mail с информацией о падении позиций после ботов 2 Марк Климов

Итоги

Интенсивность переходов ботов за последние дни значительно выросла и хотелось бы услышать мнение вебмастеров и представителей Яндекса, как решать эту проблему.

0
13 комментариев
Написать комментарий...
Александр

Да, проблема массовая, из за ботов страдают не только рекламодатели, но и владельцы сайтов и площадок, которые монетизируют трафик на рекламе - https://t.me/mediaizdatel/90

В последнее время в сообществах вебмастеров и владельцев площадок бурно ведутся обсуждения нашествия ботов на сайты. Началось всё примерно с марта 2020 года: у кого-то позже, у кого-то раньше, но с октября проблема стала действительно массовой.

Боты прут из разных соцсетей, чер...
В последнее время в сообществах вебмастеров и владельцев площадок бурно ведутся обсуждения нашествия ботов на сайты. Началось всё примерно с марта 2020 года: у кого-то позже, у кого-то раньше, но с октября проблема стала действительно массовой.

Боты прут из разных соцсетей, через прямые заходы, с сайтов любых тематик, даже с коммерческих. Особенно стоит отметить выросший трафик из YouTube. Активность низкая. Время на сайте - в среднем около 20 секунд, у некоторых менее 10, что сразу воспринимается как отказ. Самый популярный браузер при подобных переходах - Chrome Mobile. Системы аналитики пока не отфильтровывают такие визиты в категорию роботов, а следовательно это обычные люди, но с плохим поведением на сайте.

Что с доходом?
Для рекламных сетей это конечно же некачественный трафик, который несомненно может повлиять на доходы площадок. Боты могут кликать по рекламным блокам, не совершая при этом конверсий и прочих действий на сайте рекламодателя. За такое рекламные системы не только накладывают на аккаунты корректировки (списывают долю дохода, понижают CPM и пр.), а некоторые, например РСЯ, и вовсе могут забанить ваши площадки за некачественный трафик.

Что можно сделать, если боитесь блокировок?
Проверьте трафик на ваших площадках. Возросла ли доля ботов? Определите источники переходов основной массы ботов. Запретите отображение рекламных блоков пользователям с данным источником.

А как у вас обстоят дела с ботами на ваших площадках?
Ответить
Развернуть ветку
Панасюк Сергей

Да это реально жопа какая то творится, обслуживаю 10 сайтов и на 8 из них, там где посещалка больше 200 уник в сутки, есть этот трафик. ТП Яндекса пишет все тоже самое как и в статье описали. 

Ответить
Развернуть ветку
Роберт Валеев

Тоже самое. Предупредил всех, кто вкладывает в директ сейчас, - остановить компании, с такой массовостью могут легко и быстро скликивать бюджет, а у яндекса :"Всё в порядке, продолжайте развивать сайт"

Ответить
Развернуть ветку
Андрей Хохлов

Если кто-то найдет способ борьбы с ботами - это будет бомба)
Clouflare фильтрует только 40%-50% такого трафика.
Яндексу вообще пофиг, мне тоже отписали что у них все хорошо)

Ответить
Развернуть ветку
Владимир Икконен

Действенное решение против ботов одно - заявление в отдел К
Мошенничество  в особо крупных размерах....
Чем больше заявлений, тем лучше

Ответить
Развернуть ветку
Алиса Головина

Такая же проблема, боты поперли на главную, все с мобильных устройств или планшетов, браузер в основном google.  Операторы Mobile subscribers pool, Tele2 Russia IP Network, North-West Branch of OJSC MegaFon Network, вская область > Москва Metropolitan branch of OJSC MegaFon AS25159 31.173.80.0/21, Дергаются секунд 20 и выходят. Началось все где-то 5 декабря (ну так чтобы уже тревогу бить), уже неделю спать не могу, Платон отписывается стандартными фразами, Многие пишут, что их забанили, а мой сайт единственный мой доход (интернет-магазин). Походу это массовая проблема, надеюсь Яндекс это учтет. Получается остается только ждать?

Ответить
Развернуть ветку
Nofar Gurbanov

Ни фига Яндекс не учтет, он наоборот начал банит РСЯ у вебмастеров. 

Ответить
Развернуть ветку
Коля Павельев

а что, в ПФ разве учитываются переходы не из поисковика? потому что поисковик - единственное место с достоверной информацией об истории пользователя, что переходит, а иначе можно было бы крутить ботов пачками, выяснив те немногие факторы, что может отловить метрика по ним. разве что яша скупает или обменивается информацией об истории и благонадёжности посетителя с соц-сетками

Ответить
Развернуть ветку
Марк Климов
Автор

Есть гипотеза, что такими переходами по разным сайтам ботов выгуливают месяцами и потом уже накручивают поведенческие в выдаче Яндекса. Можно лишь предполагать, например использованные ботами браузеры от Яндекса отправляют данные о ПФ сайта и таким образом влияют на выдачу.

Ответить
Развернуть ветку
Коля Павельев

ваще звучит логично, учитывая ещё, что ботов нужно много, и на разные запросы, у некоторых оч высокая конкурентность, помножить на разные целевые сайты, короче ботов нужно дохренища. Они понемногу увеличивали объёмы и сейчас они уже дошли до всероссийского уровня))) но на такое нужно столько проксей, что вероятно там в деле ботнет приличных размеров

чем дальше в будущее, тем больше будет таких вещей, растёт и системно централизуется не только Амазон)

Ответить
Развернуть ветку
Павел Сайк

Не совсем верное умозаключение, что траффик с соцсетей. Тут боты просто намерено меняют заголовок HTTP_REFERER.А там уже откуда угодно может быть. В свое время SEO-шники любители хрумера, получали так дополнительный траффик.

Ответить
Развернуть ветку
Tabhub.ru

Вынужден был отказаться от Директа, так как скликивался бюджет ботами.
Получается забавная картина:
С одной стороны РСЯ у вебмастеров стали банить, мол - боты.
С другой стороны возвращать средства рекламодателям не хотят, мол - это люди.

Платоны говорят про директ, их все вообще устраивает:
— Ах, те, что ты выслал
На прошлой неделе,
Мы давно уже съели
И ждём не дождёмся,
Когда же ты снова пришлёшь
К нашему ужину
Дюжину
Новых и сладких калош!

Ответить
Развернуть ветку
Александр Домени

Проблеме уже несколько лет, а вот глобальные масштабы она приобрела только в 2020 году.

Ботфактор - анализирует весь трафик вашего сайта по более 100 техническим и поведенческим параметрам - автоматически блокирует ботов, экономя ваш рекламный бюджет, защищает от накрутки поведенческих факторов, а также помогает с выбором источников трафика.

Каждый из параметров имеет "свой вес", сумма этих весов дает нам четкое понимание, перед нами человек или бот. IP - это всего лишь один из сотни параметров, которые участвуют в анализе.

https://botfaqtor.ru/sites-antibot/ - антибот для сайта
https://botfaqtor.ru/yandex-clickfraud/ - защита от скликивания Я.Директ
https://botfaqtor.ru/google-clickfraud/ - защита от скликивания Google ADS

Регистрируйтесь и тестируйте.
Если будут вопросы, пишите/звоните (все контакты есть на сайте, отвечаем оперативно).

P.S. У вас крупный сайт и не хватило теста?
пишите в чат на ботфакторе - решим вопрос ;)

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
10 комментариев
Раскрывать всегда