Что такое боты, как их выявить и как защитить от них сайт?

Всем привет, это Adlook!

Представим ситуацию: вы запустили сайт с рецептами блюд из авокадо, к вам пошел не заоблачный, но стабильный трафик от любителей ЗОЖ и ПП, и вскоре вы начали зарабатывать первые деньги на монетизации.

В один прекрасный (нет) день вы обнаружили, что просмотров рекламы и кликов по объявлениям стало ну очень много. Вы потираете руки — брошу работу в офисе и уеду на Бали! Пара дней эйфории и вдруг… у вас практически перестали показывать рекламу. А все потому, что трафик-то был не настоящий, а роботный! Кому захочется платить за рекламу, особенно по модели CPC, если большинство кликов — от бездушных ботов с нулевой конверсией? Вот и рекламодатели решили не связываться с вашим сайтом…

Представили? А теперь выдохнули — ведь это случилось не с вами.

Сегодня мы поговорим о том, какие бывают боты, какой вред они могут причинить и как с ними бороться.

Знаете ли вы? По данным на 2024 год, на долю ботов приходится 47,4% всего Интернет-трафика. А если взять весь бот-трафик за 100%, то 30% из них приходится на «плохих» ботов. О том, какие боты считаются плохими, а какие — хорошими, мы расскажем далее в статье.

Бот-трафиком называют посещение сайта кем-то, кто не является человеком. Конечно, речь не о коте, случайно наступившем лапой на клавиатуру, а именно о ботах — программах, созданных для выполнения повторяющихся действий. Многие считают, что бот-трафик — это абсолютное и безусловное зло, но это далеко не всегда так. Есть и добрые боты-помощники, без которых веб-сервисы просто не смогут работать.

Кстати, всеми любимая Алиса — тоже бот. Согласитесь, без нее наша жизнь была бы чуточку скучнее.

Итак, помимо вредоносных, существуют и полезные боты, например:

• Поисковые машины — ваши друзья и незаменимые инструменты SEO. Именно они отвечают за то, чтобы ваш сайт оказался в результатах выдачи Яндекса или Гугла.
  
• Поисковые боты — это ПО, которое занимается индексацией и анализом сайтов, помогая юзерам быстро находить то, что нужно.
• Мониторинговые боты сканируют страницы в поисках вредоносного ПО и подозрительной активности и, чуть что, сообщают о проблеме.
• Боты проверки авторского права следят за тем, чтобы никто не использовал чужой контент без разрешения.

А вот этих ребят хорошо бы не подпускать к сайту на пушечный выстрел:

Именно их мы описали в начале статьи. Приходят на сайт, нажимают на рекламные объявление, прямо как настоящие люди, а сами ботами оказываются. Наносят огромный ущерб рекламодателям, впустую сливающим бюджет.

Их основная мишень — инфобизнесмены, привлекающие целевую аудиторию бесплатными «полезностями» — электронными книгами, чек-листами, планерами и списками типа «50 идей постов для вашего блога». По задумке, читатели придут в восторг от подарка и вскоре прибегут уже за платными курсами или книгами, а если нет, их контакты все равно останутся в базе, и с ними придется работать. Вот только если скачивание выполнил бот, в клиента он так и не превратится.

Их «поляна» — заполнение форм. Они добывают контактную информацию, включая адреса электронной почты и номера телефонов, а затем создают фейковые аккаунты пользователей, либо крадут чужие аккаунты и действуют от их имени. Такие программы распространяют никому не нужный, а то и опасный контент, например:

• Спам-комментарии, включая реферальный спам, когда пользователя убеждают перейти по ссылке (и хорошо, если по ней не окажется вредоносного ПО);
  
• Фишинг-рассылки по электронной почте: один клик по ссылке в таком письме — и все логины и пароли адресата попадают в руки проходимцам;
• Перенаправления на сайты;
• Негативное SEO (aka поисковая пессимизация) сайтов конкурентов.

Уже из названия понятно, чем они занимаются — шпионят. Крадут данные, например, адреса электронной почты с сайтов, чат-румов, форумов, и соцсетей.

Они приходят на сайт крадут размещённый там контент — списки продуктов, прайсы — и передают конкурентам. Те, в свою очередь, размещают материалы уже на своей странице, только по заниженной стоимости.

Помните Барти Крауча-младшего, проникшего в Хогвартс под видом профессора Грюма и безнаказанно творившего там тёмные делишки? Такое ПО может по праву носить его имя, так как выдает себя за того, кем не является. И сайт просматривает, и на кнопочки нажимает; думаешь, человек, а нутро — ботское. Такие притворщики обходят меры защиты на сайте, чтобы получить доступ к сетям или системам, а иногда устраивают DDoS-атаки.

Знаете ли вы? DDoS — сокращение английской фразы «Distributed Denial of Service», дословно — «Распределенный отказ в обслуживании». Во время DDoS атаки на сервер поступает слишком много запросов из разных мест, и он на время перестает работать.

Конечно, иногда серверы могут выходить из строя по естественным причинам. Например, при выходе новой игры на веб-сайте наблюдается всплеск активности: на него заходят геймеры, которые первыми хотят опробовать новинку. И всё же всегда следует помнить о деятельности киберпреступников.

В отличие от ботов-самозванцев, создаются специально для атак на сервер. Загружаются на компьютеры ничего не подозревающих пользователей, а потом дружно нападают на сервер с целью остановить его работу. По данным компании Corero, которая как раз специализируется на защите от DDoS-атак, в среднем по Америке каждый такой инцидент обходится приблизительно в 218 тысяч долларов.

Темные двойники мониторинговых ботов. Ходят по сети, выявляют у сайтов слабые места, и сообщают о них, только не владельцам сайтов, а третьим лицам, которые используют эту информацию в своих целях.

Чтобы определить, сколько ботов посещает ваш сайт, нужно регулярно проверять сетевые запросы, которые поступают на сайт. Полная версия Google Analytics в России больше не доступна, а использовать бесплатную можно только после уведомления в Роскомнадзор, иначе получите штраф. С Яндекс Метрикой таких проблем не возникнет.

Вот основные красные флажки, указывающие на нашествие ботов:

• Аномально высокие просмотры страницы. Если график отчета «Посещаемость» внезапно взметнулся выше Лахта-центра, это явно дело электронных рук ботов.
• Аномально высокий показатель отказов. В нем учитывается процент пользователей, которые ушли с веб-сайта не взаимодействуя с контентом. Простыми словами, это люди, которые открыли сайт и не нашли для себя ничего интересного: не нажали ни на одну кнопку или ссылку и не перешли на другие страницы перед уходом. В Яндекс Метрике как отказ засчитывается посещение, продлившееся меньше 15 секунд. Если вдруг появилось множество быстрых и бесполезных просмотров, то это явный признак того, что за работу взялись роботы.
• Неожиданно высокая или низкая продолжительность сессии. В Яндекс Метрике этот параметр называется «Время на сайте». Он показывает, как долго тот или иной юзер пробыл на сайте. Когда на страницу приходят люди, длительность визита, конечно, у всех разная, но остается примерно в одном диапазоне. А вот если ни с того, ни с сего значение увеличилось, вполне возможно, что по сайту со скоростью улитки ползает бот, медленно, но верно нанося вам ущерб. И, наоборот, слишком короткая сессия выдает бота, который носится по сети со скоростью, недоступной простым смертным.
• Ложная конверсия — когда целевое действие совершают не люди, а боты. Подозрения на нее возникают, если в заполненных контактных формах много имейлов, состоящих из случайного набора символов, а также фейковых имен, телефонных номеров или адресов.
• Скачок трафика из неожиданного региона. Скажем, если на сайт вашей московской или питерской компании вдруг резко повалили жители Магадана, а то и Новой Гвинеи, это явный признак бот-трафика.
  

Мы узнали мнение у эксперта, который занимается защитой от скликивания рекламы и борется с вредоносным бот-трафиком на сайтах:

Итак, вы обнаружили вредоносный трафик, но как заставить ботов обходить сайт стороной? Вот основные инструменты:

• Законный арбитраж Интернет-трафика. Арбитраж трафика — это размещение рекламы, например, в Яндекс Директ или VK, за определенную плату. Покупая трафик только у проверенных источников, вы повышаете долю «хорошего» трафика и снижаете долю «плохого».
• Файл Robots.txt, в котором содержатся параметры индексирования вашего сайта, предназначенные для роботов и поисковиков. Это поможет минимизировать посещение страниц ботами.
• Использование JavaScript для оповещения о каждом визите бота на сайт.
• Списки DDoS: вы можете составить перечень IP-адресов, засветившихся в атаках на ваш сервер, и отклонять запросы, поступающие с этих адресов.
• Стратегия аутентификации «Вызов-ответ». Просите пользователей вводить капчу при заполнении форм и скачивании материалов. Простой и проверенный способ развернуть ботов на входе.
• Доскональное изучение лог-файлов. Если ваш веб-админ хорошо разбирается в аналитике данных, то в лог-файлах ошибок сервера он сможет найти и устранить проблемы, вызванные ботами.
• Специальные программы защиты от ботов, такие как Cloudflare, Botfaqtor или Antibot.
• Установите брандмауер сетевых приложений (WAF — Web Application Firewall). Кстати, еще к началу 2023 году отечественные программы такого типа полностью «импортозаместили» зарубежные.
• Если ваш сайт создан на WordPress, вам доступен плагин iThemes Security, регистрирующий события, в том числе — действия ботов, в реальном времени.

Конечно, на 100 % исключить бот-трафик на ваш сайт невозможно. Но если вы будете внимательно заниматься аналитикой сайта, использовать технические средства защиты и, что немаловажно, постоянно повышать уровень осведомленности сотрудников о проблеме, вы значительно снизите возможность серьезных атак.

А чтобы ничего не пропустить и быть в курсе последних трендов, читайте наши блоги: мы активно публикуемся на виси, составе и дзене, а также на ведем блог на собственном сайте — там вы найдете полезные материалы о маркетинге и рекламе, новости, обзоры и кейсы. Переходите по ссылкам, читайте и делитесь полезностями с коллегами и друзьями :)

С вами был Adlook. На связи!