Боты нелёгкого поведения

Привет, VC! Итак, это случилось. Благодаря стабильности и надежности, которые так важны в наши дни, SEO-продвижение снова в тренде. А значит, самое время поговорить о нем. А точнее - об одной связанной с ним проблеме, которая, как и само SEO, в очередной раз стала актуальной.

Говоря кратко, ПФ - показатели, по которым можно понять, как пользователь ведет себя на сайте. Совершает ли целевые действия, быстро ли находит нужное, не возникает ли у него сложностей.

Вот наиболее значимые из поведенческих факторов:

Демография. Показывает, принадлежат ли посетители сайта к вашей целевой аудитории.
Лояльность. Показатель того, возвращаются ли пользователи на сайт, или забывают о нем после первого посещения.
Страницы входа и выхода. Это разделы сайта, на которых пользователи начинают и заканчивают “путешествие” по нему.
Количество просмотров. Число страниц сайта, которые посетитель просмотрел за сессию.
Длительность сессии. Среднее время, которое пользователь проводит на сайте.

ПФ очень важны для SEO-оптимизатора - во многом именно по ним поисковые системы “понимают”, стоит ли поднимать сайт в выдаче. Например, если посетители ведут себя на сайте условно “хорошо” (посещают целевые страницы, проводят “внутри” ресурса достаточно времени и др.), то и сайт хороший.

Для накрутки используются боты - роботы (а точнее, программы), которые “заходят” на нужный сайт, “просматривают” страницы, быстро “находят” нужное - словом, имитируют настоящих посетителей. Зачастую действия бота на сайте почти невозможно отличить от “человеческих”. Даже Яндекс и Google не могут заметить разницы - и, видя на сайте искусственную “идиллию”, повышают его позиции.

Но это - о позитивных поведенческих факторах. А как же негативные?

Главное отличие бота от человека - в том, что ему можно диктовать, как вести себя на сайте. Программа может “прикинуться” не только довольным пользователем, но и посетителем, который не нашел на сайте ничего полезного. Для этого бот может быстро пролистывать полезную информацию, задерживаться не там, где нужно, покидать сайт сразу после перехода... Словом, делает всё, чтобы показать, что сайт для него бесполезен, неудобен и непонятен - а значит, не достоин высоких мест в выдаче.

Существует много разновидностей вредоносных ботов. Вот некоторые из них:

Брутфорс-боты “специализируются” на автоматическом подборе логинов и паролей. Используются не для накрутки ПФ, а для получения доступа к учетным записям пользователей.
Спам-боты оставляют негативные комментарии и отзывы, публикуют ссылки на вредоносные сайты.
Боты авторегистрации создают на сайте фейковые аккаунты - с самыми разными целями, от получения бонусных баллов за регистрацию до выигрыша призов в промо-акциях.
Кликботы бессмысленно “нажимают” на все кнопки и ссылки на сайте, создавая хаос - и, естественно, ухудшая поведенческие факторы.
“Человекообразные” боты (или “самозванцы”) - главные герои этой статьи. Именно они, главным образом, и используются для накрутки ПФ.

Негативная накрутка поведенческих факторов бывает выгодна:

Конкурентам, которые хотят целенаправленно “притормозить” развитие ресурса.
Сторонним сеошникам, которые просто “тренируют” своих ботов, которые впоследствии будут использоваться для накрутки позитивных ПФ. Научить робота вредить проще, чем приносить пользу. Поэтому “новорожденные” боты часто обкатываются в атаках на случайные сайты, а позже, когда поисковик уже не отличает их от реальных пользователей, их начинают подключать к продвижению.
Специалистам, которым очень хочется продать свои услуги новому клиенту. Алгоритм прост: сначала накручиваются негативные ПФ, из-за них сайт падает в выдаче. А затем вам звонят из SEO-агентства и предлагают исправить ситуацию.

Кстати, ни в Административном, ни в Уголовном кодексе РФ нет статьи о накрутке ПФ. Поэтому привлечь злоумышленников к ответственности за диверсию на сайте очень сложно. Но возможно - об этом чуть ниже.

Обычно первым симптомом проблемы становится резкое обрушение метрики поведенческих факторов сайта. В ходе анализа выясняется, что это не связано с объективными причинами (например, неудачным редизайном). Зато обнаруживается другое:

появляется стремительно растущий трафик с подозрительных IP
параллельно с этим уменьшается среднее время пользователя на сайте и глубина просмотров
пользовательская активность на сайте перестает зависеть от времени (становится одинаковой и в “часы пик”, когда люди чаще всего сидят в интернете, и в самое “глухое” время)

Ну а затем становится заметно, что поведение многих новых “пользователей”, мягко говоря, нелогично. О целевых действиях не идет и речи - наоборот, посетители как будто заходят на сайт исключительно для того, чтобы ухудшить его ПФ.

Как я уже говорил, главная опасность накрутки - в том, что завоеванные месяцами упорной работы позиции сайта могут резко обвалиться. А восстановление “былого величия” - процесс небыстрый и недешевый.

Но может быть и хуже - иногда за накрутку можно получить и долговременный бан сайта в Яндексе и Google.

А еще из-за резкого “скачка” трафика (боты почти всегда атакуют массированно) увеличивается нагрузка на сервер, что тоже неприятно.

Впервые с накруткой негативных ПФ я столкнулся в 2015 году. Причем, можно сказать, у себя дома - на сайте нашего агентства (Idea-promotion.ru). Трафик на сайт неожиданно взлетел - при том, что в тот момент мы не проводили никаких активностей, которые могли бы поспособствовать такому “подарку судьбы”. При ближайшем рассмотрении выяснилось, что большинство визитов происходило с IP московского метро (?!).

Почти сразу эта же проблема была выявлена на сайтах нескольких наших клиентов. С накруткой столкнулись:

официальный портал крупного производителя автомобильных сигнализаций
сайт региональной компании-изготовителя натяжных потолков
корпоративный сайт клинингового агентства
интернет-магазин кровельных материалов

До начала накрутки ботами видно, что заходили люди (неравномерный график, люди заходят днем)

После появления накрутки видно, что график почти прямой

<p>Скрин метрик в момент, когда столкнулись с проблемой</p>

Как видите, под удар попали сайты совершенно разных тематик. Неизменными оставались три фактора:

ни на одном из ресурсов не проводилось акций, которые могли бы поспособствовать быстрому росту трафика
на сайты заходили с одних и тех же IP, большинство из которых принадлежит московскому метрополитену
количество прямого трафика не зависело от времени суток. Одинаковое число посещений в 4 часа утра и в 14 дня - странно, не находите?

Анализ

Мы в Idea стараемся докапываться до сути каждой проблемы. И поэтому решили провести небольшое исследование - узнать, как часто компании сталкиваются с накруткой на своих сайтах и в соцсетях. А заодно - насколько активно пользуются этим инструментом сами. Выяснилось, что:

“Годом позитивной накрутки ПФ в РФ” стал 2014. К примеру, в официальной группе ВК бренда “Роллтон” в этом году было всего 24% реальных пользователей, остальные - боты. Недалеко ушли и Adidas с Coca-Cola - почти 60 и 37% фейков соответственно.
В 2020 году произошел еще один всплеск накрутки поведенческих факторов - на этот раз негативных. Атакам подверглись сайты 63% (!) российских компаний и 46% мобильных приложений. Еще 23% представителей отечественного бизнеса пожаловались на “покушения” ботов на API.
Исследование Netacea, в котором приняли участие 440 предприятий из США, показало, что из-за негативных ПФ крупный бизнес теряет в среднем $250 000 000 в год (!!!) - при собственных оборотах от 7 до 350 млрд.
Заказать атаку несложно и недорого - в интернете немало бирж, на которых можно приобрести вредоносных ботов оптом и в розницу - от $0.003 за штуку.

И о наказаниях для "ботоводов". 27 декабря 2021 года в Суде Москвы стартовал процесс по уголовному делу, связанному с использованием ботов - первый случай в истории России. Правда, дело касается не накрутки ПФ, а с продажи ботов в World of Tanks. Подсудимый обвиняется по ч. 2 ст. 273 УК РФ (“Использование и распространение вредоносных компьютерных программ”). Что ж, начало положено...

Борьба

А параллельно с исследовательской работой мы занялись работой практической - устранением последствий накрутки. Для начала определились со списком наиболее востребованных инструментов. Вот они:

Analytics Referrer/Ghost Spam Blocker - бесплатный сервис, обеспечивающий надежную защиту от спам-ботов. Для “чистки” уже зараженного сайта не подходит.
Analytics Toolkit - платный инструмент, фильтрующий трафик по доменам, занесенным в базу данных. Стоимость - 15 долларов, лимита обращений нет.
Spam Filter Installer - еще один free-to-use сервис, лимит обращений - 2 тысячи. Трафик фильтруется по доменам, список которых периодически обновляется (к сожалению, не всегда вовремя).
Referrer Spam Blocker - инструмент, похожий на предыдущий, но с квотой в 5 тысяч обращений. 17 фильтров для чистки трафика.
Analytics Spam Blocker - удобный бесплатный инструмент, позволяющий чистить не только актуальный, но и “исторический” трафик.

Увы, для борьбы с уже начавшейся атакой ни один из этих сервисов не подходит. Однако решение нашлось - “отсечь” вредоносных ботов помог сервис Cloudflare. Для решения проблемы потребовалось:

Зайти через аккаунт Cloudflare в раздел “Firewall”
Перейти в подраздел “Правила” (“rules”), затем - в “создание правил” (“Create a Firewall rules”)
Настроить несколько правил, согласно которым пользователям будет предоставляться доступ на сайт, включая показ капчи “подозрительным” посетителям (JS Challenge) и запрет на IPv6

<p>скрины Cloudflare с настройкой правил</p>

Уточню: Cloudflare - сервис, предназначенный в первую очередь для борьбы с DDoS-атаками. Поэтому настраивать правила для блокировки ботов, которые имитируют поведение реальных пользователей, приходится вручную. Для быстрого, и главное, максимально безболезненного решения проблемы потребовалась команда, в которую вошли руководитель нашего отдела вебмастеринга, вебмастер, SEO-оптимизатор и ваш покорный слуга. А так как все атакованные сайты - разной тематики, пришлось подбирать способы устранения проблемы индивидуально. Да, общий алгоритм не менялся (он описан чуть выше), но набор правил определялся индивидуально для каждого ресурса, причем обсуждать тактику требовалось всей командой. А учитывая то, что решить проблему нужно было срочно, каждое обсуждение превращалось настоящий брейншторм (в полном смысле слова “шторм”).

Выводы

Благодаря тому, что мы успели вовремя заметить старт атаки, ни один из наших клиентов, сайты которых попали под удар, не успел серьезно пострадать - да и поисковые системы на этот раз не поспешили с наказанием за накрутку.

При работе с Cloudflare важно помнить, что этот сервис - не “волшебная таблетка”, действие которой направлено исключительно на устранение проблемы. Он влияет на функционирование сайта в целом, и использовать его нужно очень аккуратно, иначе:

Можно запретить доступ на сайт “полезным” роботам - ботам Яндекса и Google - а это сразу скажется на позициях. При настройке правил доступа обязательно нужно выбрать для них действие “Allow”. Кстати, вот их список
Может выйти из строя часть функционала
Доступ на сайт может стать неудобным для реальных посетителей (например, людям придется слишком часто вводить капчу)

Решая проблему накрутки, нужно заранее соотнести вред, который наносят сайту боты, с возможным ущербом от “побочных эффектов” борьбы с ними.

<p>Cloudflare - предоставление доступа полезным ботам</p>

К сожалению, превентивных мер, которые гарантированно исключат возможность негативной накрутки ПФ на вашем сайте, не существует. Однако снизить риски можно. В этом помогут:

Captcha. Тысячи раз проверенный инструмент, который помогает защититься от брутфорса и авторегистрации. К сожалению, часто использование капчи делает сайт неудобным для реальных посетителей. К тому же, некоторым “умным” ботам она уже не страшна.
ReCaptcha v3. Продвинутый сервис, основанный на анализе поведения пользователей. Не требует дополнительных действий на сайте, что хорошо для посетителей. Но может тормозить работу ресурса и давать лишнюю нагрузку на сервер.
Лимит попыток ввода данных. Установив ограничение на ввод, можно эффективно отсечь попытки брутфорсинга. Но не более того.
Honeypots - ловушки для вредоносных программ, которые действуют по интересному принципу: в стандартные формы ввода данных (например, в форму регистрации) добавляются дополнительные поля, незаметные для пользователя. Бот “видит” их, заполняет - и этим выдает себя.
Таймер ввода данных. Прием, чем-то похожий на предыдущий. Программа вводит информацию в поля гораздо быстрее человека, и на этом ее можно “поймать”. Увы, оба способа не спасут от целенаправленной атаки - злоумышленники просто проанализируют ваш сайт и внесут в поведение своих ботов нужные корректировки.
Akamai, Radware, PeremeterX и другие платные решения. Сложные инструменты многоуровневой фильтрации трафика, позволяющие почти полностью исключить риски. Но именно почти - эти сервисы тоже можно “победить”. А еще они дорого стоят - настолько, что иногда дешевле устранить уже возникшую проблему, чем не допустить ее появления с их помощью.

Поэтому, на мой взгляд, наиболее действенная профилактика - постоянно наращивать естественный трафик на сайт. Нет, качественный трафик не спасет от “нападения” ботов. Просто с ним такая атака не будет проблемой - у ваших недоброжелателей просто не хватит роботов на то, чтобы нанести сайту хоть какой-то ущерб.

И отдельно - о профилактике ущерба от негативной накрутки. Сам факт атаки ботов на сайт - не такая уж страшная проблема, если эту атаку получится вовремя “купировать”. А для этого желательно всегда иметь под рукой контакты компании, сотрудники которой смогут оперативно “зачистить” сайт от ботов. И выбрать такую компанию желательно заранее. Основной критерий выбора - наличие у команды опыта в устранении последствий накрутки на сайтах, принадлежащих разным компаниям и созданных с разными целями. У нас (не реклама, просто хвастаюсь) такой опыт уже есть.

Главный признак негативной накрутки поведенческих факторов - резкий рост некачественного трафика на сайт за счет активности ботов
Из-за накрутки ПФ ресурс может существенно “просесть” в выдаче поисковиков. Кроме того, боты, переходя на сайт, существенно увеличивают нагрузку на сервер
Мишенью для “атаки” роботов может стать сайт любой тематики и направленности
Самое эффективное средство профилактики негативной накрутки - постоянное увеличение естественного трафика
Не допустить ботов на сайт поможет настройка правил доступа в Cloudflare, но этот сервис нужно использовать с осторожностью - вред от его “побочных эффектов” может превысить негативное влияние накрутки

И напоследок - еще немного статистики. На сегодняшний день большинство компаний тратит на борьбу с накруткой ПФ менее 5% бюджета, выделенного на цифровую безопасность. Практика показывает, что этого часто не хватает. Поэтому, если вы не хотите пострадать от атаки ботов в самый неподходящий (то есть в любой) момент, будьте готовы оперативно среагировать на нее. В идеале - заблаговременно соберите “группу быстрого реагирования”, которая сможет справиться с ботами до того, как они нанесут бизнесу серьезный вред. Ну или заручитесь поддержкой сторонней команды - этот вариант, скорее всего, окажется и надежнее, и выгоднее.

Вот и всё о накрутке ПФ. А вы сталкивались с этой проблемой? Расскажите в комментариях о своем опыте - буду рад прочитать!

Андрей Степанов - руководитель департамента SEO Idea Promotion - о накрутке ПФ и ее опасности для бизнеса

Что такое поведенческие факторы…

…и зачем их накручивать?

Негативные ПФ - чем суть?

Кому это может быть нужно?

Как выглядит накрутка?

Чем грозит атака ботов?

А теперь - о личном

Как мы боролись с накруткой?

Cloudflare. Меры предосторожности

Профилактика

Итого