Создание, продвижение и реклама сайта в интернете. Управление репутацией и техническая поддержка.
Первым делом обратите внимание на Яндекс.Метрику: определите долю роботного трафика, его источник, а также сравните с показателями по позициям. Если видите, что позиции стали хуже, а доля роботов стала существенно больше, то пора принимать меры.
Зависит от объема ботов, выбранного способа и качества реализации. Можно увидеть результаты уже на следующий день.
Как же не упоминается? В начале статьи мы проводим сравнение показателей и видим спад позиций, который может быть ассоциирован с роботным трафиком, а также предполагаем, что его низкие качественные показатели негативно влияют на общее восприятие сайта поисковыми системами.
Основное, за чем следует следить – это качественные показатели трафика и коэффициент конверсии. Если эти две метрики существенно не упали, то всё в порядке 😊
Некоторые из этих мер могут помочь (например, блокировка DNS-записей существенно облегчила работу одному из наших сайтов). Мы рекомендуем консультироваться с вашей IT-службой, чтобы оценить влияние роботов на сервер и принять решение об их блокировке.
Рекомендуем использовать гибкие настройки блокировки, тщательно отслеживать не только количественные, но и качественные показатели трафика, а также проверять сеть блокируемых IP – в интернете регулярно появляется информация о сетях и списках адресов, которые активно используют для бот-атак.
Основную сложность представляет выбор корректного способа блокировки роботов. Для каждого сайта он индивидуален, будь то корпоративный сайт или интернет-магазин. Чтобы настроить фильтрацию корректно, мы анализируем источники роботов, оцениваем их потенциальное влияние и возможные риски.
Использование CAPTCHA может негативно повлиять на поведение пользователей, если задача слишком сложная, многоуровневая (всё же, пользователи пришли к нам не ребусы разгадывать 😊) или появляется не при заходе за сайт, а в случайный момент. Мы рекомендуем использовать простые капчи или reCAPCHA от Google.
Отсутствие фильтрации роботного трафика может искажать данные аналитики, приводя к ошибочным выводам о поведении пользователей и эффективности продвижения. Это также может привести к неточным прогнозам и негативу со стороны клиента, когда прогноз не сбудется.
ipv4 намного дороже ipv6.
Перечитали. Поняли, что формулировкой запутали. Не сами адреса на IPv4 дешевле, а магистральное оборудование v4 маршрутизации дешевле. Потому их чаще для спама используют.
Блокировать по ip нет смысла. Смена ip идёт каждые несколько минут, в средне - от 2 до 5. Банить же целыми подсетями - это даже не выстрел в ногу.
Тут в большей степени согласны. Банили очевидно спамными сетями после вычислениях их с помощью форумов и масками. Помогло немного, временно, оставили у себя как кейс на благо будущих поколений.
Капчу боты обходят, там подключены сервисы антикапчи.
Зависит от обученности, пожалуй. Нам на нескольких сайтах помогла, но там и роботов было не критично много.
Вообще говоря, нету сейчас полноценной защиты. Можно лишь максимально усложнить ботоводу жизнь, и надеяться, что он психанет и сайт из списка удалит.
Точно! Ждать, пока нечестный игрок выйдет из себя можно, пока параллельно тестируешь разные варианты блокировки. Битва терпеливых интеллектуалов может затянуться, а сайт страдает здесь и сейчас.