Создание, продвижение и реклама сайта в интернете. Управление репутацией и техническая поддержка.
Первым делом обратите внимание на Яндекс.Метрику: определите долю роботного трафика, его источник, а также сравните с показателями по позициям. Если видите, что позиции стали хуже, а доля роботов стала существенно больше, то пора принимать меры.
Зависит от объема ботов, выбранного способа и качества реализации. Можно увидеть результаты уже на следующий день.
Как же не упоминается? В начале статьи мы проводим сравнение показателей и видим спад позиций, который может быть ассоциирован с роботным трафиком, а также предполагаем, что его низкие качественные показатели негативно влияют на общее восприятие сайта поисковыми системами.
Основное, за чем следует следить – это качественные показатели трафика и коэффициент конверсии. Если эти две метрики существенно не упали, то всё в порядке 😊
Некоторые из этих мер могут помочь (например, блокировка DNS-записей существенно облегчила работу одному из наших сайтов). Мы рекомендуем консультироваться с вашей IT-службой, чтобы оценить влияние роботов на сервер и принять решение об их блокировке.
Рекомендуем использовать гибкие настройки блокировки, тщательно отслеживать не только количественные, но и качественные показатели трафика, а также проверять сеть блокируемых IP – в интернете регулярно появляется информация о сетях и списках адресов, которые активно используют для бот-атак.
Основную сложность представляет выбор корректного способа блокировки роботов. Для каждого сайта он индивидуален, будь то корпоративный сайт или интернет-магазин. Чтобы настроить фильтрацию корректно, мы анализируем источники роботов, оцениваем их потенциальное влияние и возможные риски.
Использование CAPTCHA может негативно повлиять на поведение пользователей, если задача слишком сложная, многоуровневая (всё же, пользователи пришли к нам не ребусы разгадывать 😊) или появляется не при заходе за сайт, а в случайный момент. Мы рекомендуем использовать простые капчи или reCAPCHA от Google.
Отсутствие фильтрации роботного трафика может искажать данные аналитики, приводя к ошибочным выводам о поведении пользователей и эффективности продвижения. Это также может привести к неточным прогнозам и негативу со стороны клиента, когда прогноз не сбудется.
В Яндекс.Метрике есть отчеты по роботам и нагрузке сайта, которые можно наложить на отчеты по посещаемости и оценить роботное влияние. Также рекомендуем обращать внимание на качество переходов. В частности, на длительность сеанса и показатель отказов – роботы заходят на сайт и сразу после регистрации посещения с него уходят.
Мы не учли корректный ответ для несуществующих страниц, которые формировались по фильтрам и попадали в индекс из-за функции обхода страниц по счетчикам Яндекс Метрики. После настройки корректного ответа для несуществующих страниц "мусорные" страницы перестали попадать в индекс.
Ручная настройка метатегов и размещение текстов на страницах, созданных по фильтрам, возможна, однако для этого требуются дополнительные доработки.
Мы внедряли доработку для CMS битрикс. Из ограничений может быть не продленная лицензия CMS и устаревшая версия PHP.
Нет, не упал. Сайт продолжает набирать обороты по лидам, правда сейчас в тематике несезон, но клиент очень доволен результатом.
Данная доработка также подходит и для трафиковых проектов, применяем повсеместно на различных тематиках, например, межкомнатные двери. Результаты пока не оцифрованы, ждите еще больше интересных кейсов от нас!
Со стороны SEO специалиста не более 15 минут, со стороны реализации - от 30 до 40 минут.
Вся первичная оптимизация метатегов проводилась по шаблонному варианту. В h1, title и description тянутся данные разделов и пунктов фильтра.
Благодарим за высокую оценку, Никита! Так и есть - способ быстрый и очень эффективный :)
Здравствуйте, Александра!
Это связано с наличием сезонности спроса в конкретных регионах.
Здравствуйте, Сема!
Рекомендую пройтись по чек-листу, приведенному в статье.
Когда убедитесь, что всё в порядке, нужно перейти на склеенный поддомен в вебмастере и отправить на Разгруппировку адресов. В течение недели-двух все должно расклеиться.
Спасибо за отзыв! Всегда делаем максимум для наших клиентов ;)
ipv4 намного дороже ipv6.
Перечитали. Поняли, что формулировкой запутали. Не сами адреса на IPv4 дешевле, а магистральное оборудование v4 маршрутизации дешевле. Потому их чаще для спама используют.
Блокировать по ip нет смысла. Смена ip идёт каждые несколько минут, в средне - от 2 до 5. Банить же целыми подсетями - это даже не выстрел в ногу.
Тут в большей степени согласны. Банили очевидно спамными сетями после вычислениях их с помощью форумов и масками. Помогло немного, временно, оставили у себя как кейс на благо будущих поколений.
Капчу боты обходят, там подключены сервисы антикапчи.
Зависит от обученности, пожалуй. Нам на нескольких сайтах помогла, но там и роботов было не критично много.
Вообще говоря, нету сейчас полноценной защиты. Можно лишь максимально усложнить ботоводу жизнь, и надеяться, что он психанет и сайт из списка удалит.
Точно! Ждать, пока нечестный игрок выйдет из себя можно, пока параллельно тестируешь разные варианты блокировки. Битва терпеливых интеллектуалов может затянуться, а сайт страдает здесь и сейчас.