Как мы остановили атаку ботов — склик сайта клиента из топа «Яндекса»

Введение. Несколько лет клиенты, коллеги, знакомые просили начать писать кейсы, так как частенько имеем нестандартные решения сложных задач для крупных проектов (ИМ на 400 000+ страниц, 50 000+ товаров и так далее), и обсуждая очередной проект в чатах, получаю рекомендации описывать некоторые решения, которые стали эффективны.

Это мой первый кейс, хотя подобное решаем несколько раз в месяц/квартал. Начинаем со среднего объема сайта (~250-300 посещений в сути, около 800 страниц).

Суть. Клиент постоянный, обслуживается нашей организацией по разработке и продвижению сайтов — SeoProk.RU. Работаем давно, в достаточно деловом стиле, сухо, без воды, например: задача добавить +50% к трафику — выполнение, даем +51% к трафику, задача СЯ ВЧ/СЧ держать в ТОП10, держим и всё в таком духе, как любят истинные разрабы/интеграторы/продвиженцы (не путать с "эксперты"/"наставники"/коучи = инфоцыгане/понто-неучи).

Проект качнули сначала до ТОП10 по ВС/СЧ, потом до ТОП1-3 ВЧ/СЧ, трафик попёр, клиент доволен! Всё отлично! Поставили проект на ход, полуавтомат, все рады. Пока, в этой достаточно узкой нише, кто-то из конкурентов не решил, что надо подвинуть нас из ТОПа органической выдачи Яндекс и тут почалось:

Теперь подробнее. Первое, что мы обнаружили, это резкий рост Прямых заходов, ботных, как казалось сначала, но позже оказалось, что не только ботных:

Сразу же был установлен Антибот (да, мы будем вставлять рефки, т.к. это польза, кому не ломы, ставьте софтину по ссылке, если решите, что это вам полезно и нет времени настраивать CloudFlare), который показал интересные вещи, а именно:

При этом рефка ведёт на репорт Яндексу о вирусе на сайте:

Получается просто кидает пометку Яндексу, что наш сайт заражен через реф, т.к. каждый раз в списке проверяемых на заразу кидает, подставляя на проверку Яндексу чистый сайт. Вот такими лупасили:

Спад трафика не заставил себя ждать. На 5% просел ТОП10 за 2,5 дня атаки, вроде бы в пределах обычных колебаний, но тут пошли Прямые пустые с Отказами по 00:00 сек, еще несколько сотен. И насколько известно, если так долбят 2-3 недели и не принять меры, блочат домен. Проверять не стали :)

Следующий вид с подстановкой левых UTM-меток в домен, тут не совсем расшифровали, в блудни вводить не будем, но там суть в том, что стоял забор нагромождений из пачки нерасшифровываемых UTM, позже возможно обновим и приложим скрин для опознания. Предположение это UTM сервисов по выполнению ручных заданий, ниже об этом.

Трафик продолжал падать и снизился где-то в 50% от текущих значений, за ним и позиции поползли вниз, несильно, со снижением 1-2% в сутки по ТОП10.

Далее Возвратные заходы со скликом, т.е. есть наш сайт (сайт клиента), на который падали переходы с сайта с похожей нишей, а после захода на наш сайт, возвращались на первый (сайт конкурентов). Получается: зашел на их сайт > потом на наш, якобы сравнил, "понял", что наш не подходит > ушел на первый (сайт конкурентов, либо вредосайт). По итогу им вес, нам склик.

На ПФ языке, ребята качали профили на сайте нашего клиента, т.е. шли переходы пачками, полупрокаченными профилями, которые людьми определяются. И этого полетело много, сотнями, ежедневно.

И апогей всей этой истории переходы строго человеческие по заданиям на биржах, по схеме: заход на Яндекс, жалоба на вирус, переход на сайт, тут же выход.

Вывод. Кто-то очень волнуется за свое место в ТОПе. Первая мысль, получается надо их все 20 мест первой страницы поставить на дикий склик по всем этим правилам :)) и подвинуть рынок, всю первую страницу :D , НО мы так не делаем конечно и работаем в белую, поэтому с нами работают крупные холдинги, госорганизации и другие серьёзные структуры и крупные организации, включая организации занимающиеся безопасностью бизнес-процессов и бизнеса в целом.

По итогу, видим, что часть ботов/людей жалуется на безопасность сайта, часть пихает левые UTM в домен, Прямых заходы, Отказы, Возвратные переходы, что скажешь, креативно ребята подошли к атаке, молодцы. И, как результат -7% от ТОП10 за выходные.

Как говорится, поехали. Первым делом настроили AntiBot Cloud,

Далее, закрыли ботов на сервере, потом настроили счётчики так, чтобы они срабатывали только после активных действий, т.е. чтобы 00:00 секунд бото-заходы отсекались.

Как результат с 400 ботных вредо-заходов в день Прямых и всяких, стало меньше-меньше, пока не перекрылись все вредительские роботы.

Посмотрели, схема одна и также. Зашел, пофиг капча, пофиг Антибот, ручные задания, есть ручные задания, не закрыть автоматом, всё с разных ip, полазил долго по сайту, потом на пару страниц или сразу на реф и потом на вирус-репорт Яндексу, по итогу обязательно срабатывает ссылка со странным UTM и JS редиректом, в конце обязательно,

В общем, остались только покупные с бирж, которые и капчу жмут и ходят именно по ссылкам плохим, делали вредительские действия в общем, таких осталось около 50-60 в сутки, их мы еще закрутили по ip, по маскам, подсетям, гео и пр, всем чем смогли.

Перекрыли, что можно, решили понаблюдаем, т.к. ручной склик дорого, пусть платят на здоровье, как мы можем мешать конкурнетам сливать бюджет в пустоту %)

Ниже схема старт/стоп атаки, где, 1 - начало атаки, 2 - мы активно взялись за них,

Восстановились позиции быстро, где первая полоска начали на пике бомбить нас, когда по ВЧ частотникам в ТОП3 зашли, вторая когда уже всё закрутили, выходные не трогали и вот результат. Отбились.

На сегодняшний день у клиента всё отлично, боты более не приходили, покупные с бирж тоже, это значит, что атаковавший конкурент признал нерациональность злодейского поступка, а может совесть заела :))

На данный момент, 02.10.2023, ТОП10 у клиента составляет 61%, рост с 46% менее чем за пол месяца,

ТОП3 вырос с 21% до 25% за менее чем 1 месяц,

На сегодня данный клиент уже 3 раза предлагал увеличение бюджета на работы, просит усилить всё ещё лучше, чем мы успешно и усердно занимаемся.

Если кейс зашел, чирканите приятное внизу, значит продолжим и на очереди прикольный и высокоэффективный кейс о том, как управлять огромным сайтом Интернет-магазином в 400 000+ страниц, снаружи, не трогая ничего внутри, почистить все 404, кривые редиректы, битые ссылки, не разбирая сотни тысяч кривых фильтров и завалы прошлых "мастеров", перенаправить трафик сайта так, чтобы получить рост +300% к прибыли за 3 месяца и это не слова понты инфоцыган, ворующих у нас, веб-пахарей, которые особо не светятся, а текст от практика, который изобрел эту систему и пилит сайты с 2010-го года, а также продвигает их с 2018-го серьёзно. Ждём обратную связь тут, либо по контактам на сайте. Также пишите мне лично, если это касается прибыли на мой прямой Телеграм.

И конечно, Спасибо ТЕБЕ, да, именно ТЕБЕ, хороший человек, который дочитал эту простынку! :) Всем крутых проектов и четких заказчиков!

Конкуренту, который лил столько денег на склик и безуспешно - привет! ;)