Воскрешаем интернет-магазин автозапчастей и делаем 20 млн рублей на SEO-трафике

В этой статье я расскажу как добиться топа и выжимать деньги из коммерческого SEO-трафика в современных реалиях. Здесь будет представлена практическая информация, свежайшие данные и инструменты, мясо и хардкор. Поехали!

• заброшенный интернет-магазин автозапчастей для иномарок;
• околонулевой поисковый трафик с конца 2020 года;
• успешно работающий магазин в Москве с возможностью самовывоза;
• в Яндекс.Метрике ежедневно фиксируются толпы ботов;
• вишенка на торте - 3 странных проксирующих дорвея.

Прежде чем приступить к выполнению заурядных работ по семантике, структуре, контенту и так далее, мы решили стартануть с очистки трафика от фрода и обезопасить интернет-магазин от будущих атак.

Это один из стандартных пунктов работ при выводе нового проекта в топ и активном наращивании поискового трафика.

По мере увеличения видимости по кластерам поисковых запросов объёмы негативной накрутки пф (поведенческих факторов) растут прямо пропорционально почти во всех нишах, где есть трафик и деньги.

Негативная накрутка поведенческих факторов - уже обыденность и никого этим сегодня не удивить. Тем не менее, многие пренебрегают защитой и потом удивляются стагнации поискового трафика. Без установки фаервола ни о каких топах в конкурентных нишах в Яндексе речи идти не может.

В качестве первого барьера защиты мы используем сервис Cloudflare. Для наших задач вполне достаточно бесплатного тарифного плана. Сам по себе Cloudflare никак не фильтрует ботов, тем более поведенческих. Чтобы обеспечивать базовую защиту нужно произвести настройку правил вручную.

Правило №1 - разрешаем полный доступ всем известным ботам поисковых систем, социальных сетей, собственным серверам, api и так далее.

Правило №2 - полная блокировка доступа к интернет-магазину из всех стран, кроме России, а также блокировка по user-agent десятков сервисов анализа и мониторинга конкурентов.

Сюда же включается защита важных административных разделов сайта и файлов с доступом только с определенных ip. При этом хорошие боты получат доступ к сайту из любой страны.

Правило №3 - все запросы с ipv6 или по http получат капчу. Большие пулы адресов ipv6 можно получить очень дешево, чуть ли не бесплатно. Их используют для парсинга, накрутки и манипуляций, от которых мы хотим защититься.

В России на клиентских сетях ipv6 почти не распространён, поэтому потенциально затрагивается крошечный процент пользователей. Также все запросы по http получат капчу и затем 301-редирект на https - отлично помогает от некоторых паблик-сервисов накрутки пф и ddos-ботов.

Правило №4 - трафик с протоколами ниже http/2 и все прямые заходы попадают на 5-ти секундную JS-проверку. Данное правило отлично фильтрует паразитный трафик и тонны непотребства.

Поведенческие боты и люди с поддержкой JS в браузере успешно пройдут проверку и попадут на сайт. В Яндекс.Метрике трафик уйдет из прямых заходов в внутренние переходы.

На сегодняшний день старенькие мобильные браузеры не поддерживают http/2, поэтому небольшой процент реальных пользователей также может попасть на JS проверку.

Некоторые хитроботы маскируются под реальных посетителей с http/2 или http/3. Мы их будем фильтровать на втором барьере защиты.

Какие настройки не помогут от поведенческих ботов:

• включение under attack mode;
• bot fight mode и super bot fight mode на платном тарифе.

На скриншоте выше можно увидеть столбец CSR (Challenge Solve Rate) - это соотношение количества запросов прошедших проверку на бота к общему количеству запросов. Если CSR > 3% значит что-то настроено неверно и правило цепляет много реальных пользователей.

Как видно из аналитики - фаервол предотвращает ~100к паразитных запросов к сайту в сутки. Данные запросы стопаются на Cloudflare и не доходят до веб-сервера.

В качестве второго барьера защиты мы используем сервис Antibot.Cloud. На сегодняшний день это является самым гибким решением для защиты от негативной накрутки. Для обеспечения продвинутой защиты рекомендую использовать следующие настройки в конфиге.

Большинство пользователей с белыми fingerprints, cookies и ip проходят проверку автоматически. Подозрительным пользователям и ботам показывается окно в выбором цвета (реферер не имеет значения).

В таком конфиге поведенческие боты фильтруются замечательно и не могут получить доступ к интернет-магазину. Яндекс.Метрика таких ботов также не видит, в cookies бота будут отсутствовать записи о посещении сайта.

Всю статистику мы отслеживаем в веб-интерфейсе и оперативно добавляем правила фильтрации трафика в пару кликов.

С таким фаерволом мы обеспечиваем:

• защиту от поведенческих и спам-ботов;
• защиту от любых парсеров (прокси, http-заголовки и user-agent не имеют значения);
• защиту от фейк-ботов с user-agent как у официальных роботов поисковых систем;
• защиту от проксирования сайта дорвеями;
• проверку ботов по PTR-записям;
• снижение нагрузки на веб-сервер.

Чем больше поискового трафика на сайте - тем сложнее опрокинуть ему поведенческие факторы. При наращивании поискового трафика до ~300 000 уников в месяц мы подключаем в конфиг сайта Antibot.Cloud только для трафика из соц. сетей, непопулярных поисковых систем и прямых заходов:

Как работает защита фаервола можно взглянуть наглядно. На сайт регулярно шло ~800 ботов через прямые заходы. После установки фаервола на следующий день роботность упала до нуля, а прямых заходов всего несколько десятков.

Антибот не препятствует нашим ботам для положительной накрутки пф. Для этого перед заходом в интернет-магазин наши боты переходят сначала на секретный url с php скриптом, где каждый бот получает секретный cookie-ключ.

Далее боты производят нужные манипуляции на сайте и значительно улучшают поведенческие факторы.

При проведении SEO-работ одной из базовых вещей является парсинг и анализ конкурентов. На этом строится множество технологий и сервисов по анализу текстов, структуры, семантики, ссылок и прочего.

В интернет-магазинах конкуренты часто парсят цены и делают у себя немного дешевле. В итоге веб-сервер попусту нагружается, конверсия снижается, а другие интернет-магазины получают преимущества в результате активных SEO-работ.

Чтобы сделать эти процессы полностью подконтрольными и максимально усложнить жизнь конкурентам мы делаем следующее:

• Настраиваем белый клоакинг.

Одним из пунктов работ при продвижении интернет-магазина является создание текстовых описаний для товарных категорий. Достаточно сделать шаблонную генерацию и залить все это на сайт.

Текстовое описание и еще несколько элементов товарного каталога мы не будем показывать реальным посетителям, но их будут видеть поисковые роботы.

В итоге каталог товаров будет выглядеть для пользователей крайне минималистично и удобно, что сильно влияет на конверсию.

В тоже время конкуренты не видят всех тонкостей оптимизации и упускают из вида фишки и приёмы. Мы получаем конкурентное преимущество.

При этом поисковые роботы будут считать, что пользователи не только гуляют по каталогу товаров и карточкам, но еще и внимательно читают текстовое содержимое.

Тексты в интернет-магазинах сильно большой роли не играют, по сравнению с контентными проектами и сайтами услуг. Похожий прием отлично работает и там.

• Настраиваем подмену контента.

Защита от парсинга успешно работает и на уровне Cloudflare и у Антибота. Конечно, человек может спокойно пройти все уровни защиты и попасть на анализируемый сайт. Блокировка выделения текста через css, правой кнопки мыши и комбинации клавиш через js слабо спасает от воровства и анализа контента. Кто очень захочет - скопирует.

Именно для таких людей мы настраиваем автоматическую подмену визуально схожих русских и английских букв.

Такая настройка не работает для поисковых роботов. Официальные роботы от поисковых систем увидят оригинал контента без всяких проблем, а копипастер получит дезинформацию и по факту кривой контент.

Делать такое в интернет-магазине немного тумач (просто мы всегда делаем с запасом, по максимуму), зато для сайтов услуг и контентных проектов - мастхэв.

• Запрещаем сохранение архивных копий сайта в поисковых системах.

Сайты часто парсят прямо из сохраненных копий в serp'e. Чтобы копии страниц сайта были недоступны в результатах поиска нужно разместить простой код в разделе head.

Эти и некоторые другие методы мы активно применяем при продвижении сайтов и никогда не получали санкции от поисковых систем.

На один из наших сайтов не так давно массово жаловались в техподдержку Яндекса. Дескать, у них там контент скрыт, нечестно, мы должны быть на их месте, и так далее по классике. Успехом это не увенчалось. Яндекс присылал стандартные отписки, а мы как стояли в топе так и стоим.

Никакая накрутка поведенческих факторов не работает без грамотной структуры интернет-магазина, продуманной кластеризации, перелинковке и прочих стандартных, но важных работ. Если после внедрения работ нет хотя бы 1000 живых заходов в сутки - значит что-то не так.

За 9 месяцев мы:

• переехали на новый движок и изменили дизайн;
• внедрили 35 000 коммерческих ключевых слов;
• разработали и внедрили 12 ТЗ на модификацию товарного каталога;
• реализовали внутреннюю перелинковку с синхронизацией названий товаров в базе 1С;
• написали на python автоматическую генерацию массивов текстового контента с возможностью обновления в пару кликов прямо на сайте.

Для накрутки поведенческих факторов, парсинга конкурентов, и прочие нужды интернет-магазина мы собрали отдельный сервер на базе X99-T8D с двумя Xeon E5 2078v3 и DDR3 на 128 гб.

Накрутка пф производилась ступенчато, не более 20% от естественного трафика с поиска с автоматической корректировкой суточных объёмов в зависимости от позиций и фразовой частотности.

Все клики успешно регистрируются в Яндекс.Вебмастере и роботность в метрике редко поднимается более 3%. Это значит, что системы фрода Яндекс.Метрики и Яндекс.Вебмастера не могут определить наших ботов.

Сильным сигналом для Яндекса являются конверсии. Боты оставляли заказы с плавающим процентом конверсии, заполняли формы обратного звонка и покупки в 1 клик. Всё это отслеживается в Метрике и отлично бустит поисковый трафик после апдейтов пф.

Чтобы обезопасить сайт от возможных санкций мы навсегда отключаем Вебвизор и вместо него подключаем сервис Clarity. Он бесплатен и не передает никаких данных поисковым системам.

Спустя 11 месяцев работ нам удалось достичь ~79 000 посещений с поисковых систем в месяц с заброшенного сайта с убитыми поведенческими.

Это небольшой трафик с очень плавным ростом. При запуске на новореге результаты появились бы быстрее.

95% трафика идет с Яндекса, а для Google требуется отдельный бюджет и время на наращивание ссылочной массы. Накрутка пф в Google нерентабельна и малоэффективна - делать ее смысла нет, ссылки делают топ.

За год финансовая динамика интернет-магазина набирала обороты и к концу января 2022 суммарная статистика за 12 месяцев выглядит следующим образом.

Уровень конверсии с поискового трафика соответствует среднему по рынку в тематике автозапчастей. Несколько миллионов рублей из дохода можно смело вычитать - это ботные и брошенные заказы.

Самый неэффективный канал с отрицательной рентабельностью - контекстная реклама. Много ботов, низкий средний чек, конверсия 0,3%.

• Старт работ начинается с ресёрча.
• В большинство ниш невозможно зайти без защиты от ботов и корректировки пф.
• При плохой или отсутствующей оптимизации накрутка пф не работает.
• Чтобы словить фильтр - надо усердно постараться.
• Размещение живых положительных отзывов об интернет-магазине дает преимущество при ранжировании.
• Не нужно продвигать кластеры запросов, если все позиции в топ-10 заняты маркетплейсами и агрегаторами.
• Чем больше поискового трафика - тем сложнее скрутить пф. Нужно стараться выходить на большие объёмы за максимально возможный короткий срок.
• Кто-то делает SEO, а кто-то делает деньги.

Прикрепляю опросик. Интересно ваше мнение.

На этом всё. Всем ТОПа!