Продавать мозги, а не руки: как в MOAB автоматизируют рутину в SEO

Семантическое ядро таких гигантов, как Ozon или Hoff, содержит сотни тысяч или миллионы запросов. Как собрать и почистить такую семантику всего за 10-15 часов? Ответ на этот вопрос — в большом техническом гайде с внутренней SEO-кухни MOAB. Все описанное читатель сможет повторить самостоятельно с минимальными усилиями.

Последние годы SEO переживает новый ренессанс: по сути, сейчас это единственный способ дотянуться до аудитории Google. Мы в MOAB тоже столкнулись со значительным ростом интереса к услуге, в первую очередь, со стороны крупного и среднего e-com — сейчас мы работаем с OZON, Эвотор, Hoff, VK Group, Divers.ru, Музторгом и многими другими.

Чем больше проектов — тем быстрее агентство утыкается в лимит по производительности. Работа есть — а сделать ее некем (про ситуацию на рынке труда в IT пояснять, наверное, не стоит).

Впрочем, плюс такой ситуации в том, что это — лучший стимул для автоматизации процессов. Фишка автоматизации также и в том, что она продает сама себя:

В этой статье мы расскажем, как мы автоматизировали работу с семантикой для крупных проектов.

Как выглядит типовой процесс работы с семантикой в агентстве?

В агентство приходит проект, и до начала работы нужно собрать семантику и построить прогноз трафика. Иногда у заказчика есть уже настроенный мониторинг позиций — и тогда нужно оценить, можно ли расширить эту выборку и много ли дополнительной частотности даст это расширение.

Все эти процессы — крайне трудозатратные: нужно собрать маркерные запросы, распарсить семантические хвосты, затем очистить их от мусора, и только потом можно что-то оценивать.

Если речь о пресейле — таким анализом не будет заниматься почти никто, прогноз просто «нарисуют» по оценке конкурентов в Spywords.

Если речь о работе после подписания договора, то здесь другая проблема — обычно бюджета не хватает на то, чтобы проработать все ядро, поэтому от него отрезают те или иные куски, тем самым снижая охват.

Нам в MOAB хотелось давать клиентам адекватные прогнозы и быстро собирать максимально полные сем. ядра — так, чтобы бюджет задачи был незначительным даже для малого и среднего бизнеса.

После нескольких экспериментов мы разработали методологию т.н. «масок URL», которую применяем для быстрого формирования больших пулов запросов в e-com.

Ниже мы расскажем о теории процесса на упрощенном примере, а затем покажем практический кейс.

Итак, представим, что ваш клиент — крупный ритейлер электроники, и перед вами стоит задача продвижения раздела «Смартфоны».

В процессе сбора семантики вам предстоит:

Оставшиеся в массиве запросы будут отвечать нескольким условиям:

Самое простое — частотность, тут все понятно. Но как автоматизированно выяснить, что запрос а) точно про смартфоны и б) коммерческий?

Для этого обратимся к структуре URL некоторых конкурентов, который ранжируются в этой тематике.

Запрос: [купить смартфон], Яндекс

Тип запроса: категорийный, безбрендовый

Ссылки из выдачи:

Запрос: [смартфон с беспроводной зарядкой купить], Яндекс

Тип запроса: категорийный, безбрендовый

Ссылки из выдачи:

Запрос: [купить смартфон xiaomi], Яндекс

Тип запроса: категорийный, брендовый

Ссылки из выдачи:

Запрос: [samsung galaxy s23 ultra купить], Яндекс

Тип запроса: товарный, брендовый

Что мы можем узнать из анализа данных серпов и URL в них:

Во всех примерах ниже звездочка «*» означает любые символы.

Все категорийные URL OZON будут содержать ozon.ru*smartfon*. Товарные URL, однако, уже подходят под эту маску лишь в части случаев (товар подходит под маску, товар не подходит под маску, бренд, категория). Строго говоря, страница https://www.ozon.ru/category/samsung-galaxy-s23-ultra/ — это не совсем товарный URL, это листинг, но поскольку она ранжируется по товарному запросу, для упрощения будем именовать ее «товарной».

Все URL МВидео, как категорийные, так и товарные, будут содержать маску *mvideo.ru/smartfon* (товар, бренд, категория).

К сожалению, структура URL не содержит повторяющихся паттернов.

Очень удобная для нас структура URL, которая, как вы увидите в дальнейшем, выручит нас там, где нас подвела структура URL Ozon. Содержит повторяющийся паттерн: *avito.ru*telefon* (категория, товар, бренд).

*sbermegamarket.ru*smartfon* маска повторяется в товаре, бренде, категории.

*citilink.ru*smartfon* — подходит для товара, категории и бренда.

*eldorado.ru*smartfon* — подходит для товара, категории и бренда.

*shop.mts.ru*smartfony*, маска подходит под товар, категорию и бренд.

*samsung.com*smartphon* (товар, категория).

*mi-shop.com*smartphon* (товар, категория).

Наличие Маркета в выдаче Яндекса — один из самых точных признаков того, что запрос — коммерческий. В то же время ситуация осложняется тем, что однозначный паттерн не выявляется, скорее, их три:

На практике в последнее время Яндекс нередко показывает по категорийным запросам URLы Маркета вида search, что как раз и вынуждает нас учитывать самую общую маску типа *market.yandex.ru*.

В общем, суть ясна: в большинстве случаев сайты используют повторяющиеся паттерны URL, и мы можем этим воспользоваться. Можно было бы собрать маски по брендовым магазинам Huawei, Oppo, Vivo, Apple и других, но для упрощенного примера достаточно и того, что есть.

Мы составляем вот такую табличку:

Ссылка на Google Doc.

Здесь мы приводим для примера абстрактный файл про смартфоны, ниже разберем практический кейс с нашим клиентом — компанией Hoff.

Итак, мы собрали маски URL, которые могут появляться в выдаче по коммерческим запросам про смартфоны. Затем мы снимаем выдачу Яндекса (можно и Google, тут зависит от задачи), и смотрим, попадает ли та или иная маска в выдачу по конкретному запросу.

Если маска ozon.ru*smartfon* найдена в топ-10 — записываем значение «1», если нет — «0»:

В последнем столбце, как можно видеть в табличке, считается сумма вхождений. В грубом приближении — чем больше сумма, тем более «коммерческий» запрос и тем более вероятно, что он про смартфоны.

С практической точки зрения мы обычно применяем следующие фильтры:

Маркет = 1, это позволяет сразу надежно отсечь некоммерческие запросы:

Сумма вхождений: от «≥2» до «≥4»

Чем больше сумма вхождений — тем чище выборка.

Но чем чище выборка — тем больше вероятность отрезать «целевые» запросы.

Тут надо искать баланс вручную, исследуя то, как меняется суммарная частотность запросов, количество фраз и их чистота в зависимости от установленного фильтра. Если же страсть к исследованиям вам несвойственна — воспользуйтесь готовой рекомендацией:

Вообще, методика масок URL лучше всего работает в конкурентных, охватных нишах, где выдача уже сформирована, есть устоявшиеся лидеры, а количество запросов измеряется десятками и сотнями тысяч.

Для HOFF.RU такая методика подходила идеально, поэтому было решено использовать ее на полную мощность. Расскажем о процессе по шагам.

Маркеры брали максимально широкие:

Затем собирали «все, что включено» из Wordstat в 2 уровня по указанным маркерам.

Всего получилось 168 маркеров и 762 000 «грязных» запросов.

Всего в базе масок 26 разделов, для каждого — 10-12 масок, «Диваны» — один из них.

Для некоторых сайтов используется несколько масок, например, в «Кухнях»:

Логика в этом случае такая: при нахождении любой из масок в выдаче по запросу, записываем в ячейку «1», даже если (что крайне маловероятно), будут найдены 2 маски по одному сайту — все равно записываем «1».

Самое интересное — пример финального файла.

Итак, всего в файле «Диваны» было 85 642 «грязных» запроса, собранных по маркеру «диван»:

После применения фильтров:

осталось 8750:

Можно видеть, что мусорных фраз в файле практически нет.

Суммарная частотка:

Впрочем, методика масок URL не ограничивается задачами сбора и фильтрации категорийных запросов. Одно из возможных применений — массовая генерация товарных запросов из XML-фида, методика разработана совместно с Виктором Репиным из OZON.

Процесс строится так:

Стоит отметить:

Пример готового файла, сделанного по такой методологии для компании MUZTORG:

Математика там такая: из ~300 приоритетных товаров мы получили около 8000 комбинаций, после фильтрации осталось 323 «товарных» запроса.

Обычно авторы таких статей в разделе «Практическое применение» предлагают читателям учить Python или же использовать AParser/Zennoposter. Не умаляя всех достоинств этих способов автоматизации, отметим, что они сильно сужают круг тех, кто применит рекомендации в реальности.

Мы все же предпочитаем автоматизацию, максимально близкую к формату «одной кнопки»: зашел, нажал, получил результат. Поэтому мы сделали микросервис «Генерация запросов» в MOAB Tools.

Как его использовать:

Для тех, кто не любит читать документацию, мы подготовили небольшое видео с кратким описанием основных возможностей:

Если начал говорить про автоматизацию в SEO — рано или поздно скатишься в обсуждение нейросетей. Порой кажется, что спекуляции на тему ChatGPT — один из самых эффективных способов собрать лайки на vc.ru для авторов, которых в других случаях просто не замечают.

Как широкое использование ИИ повлияет на SEO-индустрию: наша точка зрения.

Государства рано или поздно сделают маркировку генеративного контента обязательной, а отказ от маркировки — нарушением (в Китае уже готовятся запрещать). Владельцев нейросетей, вероятно, заставят вести реестр сгенерированного контента. Это позволит маркировать сниппеты и/или понижать в выдаче материалы без маркировки.

Пресловутый EAT неслучайно превратился в EEAT. Еще одна «E» — это Experience. По сути, нейросети не создают новый контент — в зависимости от качества датасета, они формируют плохую или хорошую компиляцию на его основе.

В условиях засилья генеративного контента дополнительный бонус в ранжировании получат сайты, где будет уникальный по смыслу контент, объединяющий в себе информацию, которая до момента публикации существовала лишь в головах у экспертов в конкретной нише.

Это создаст дополнительные проблемы для малого бизнеса и вытеснит с рынка дешевых «копирайтеров» и «рерайтеров». Конкурентные экспертные тексты они не потянут, а писать простые технические тексты клиенты «наймут» нейросеть.

На их место придут серьезные редакции, умеющие работать с экспертами, разбираться в технических вопросах и структурировать информацию.

Безусловно, в выдаче будет много генеративного контента, в том числе тогда, когда он реально нужен для выполнения чисто технической функции — описания товаров, тексты «как варить пельмени» и «график праздников 2023». Но в то же время по запросу [деревянный дом под ключ проекты и цены] преимущество получит кто-то типа GoodWood, с контентом такого типа.

И это отличная перспектива.

Прозвучит парадоксально, но чем сложнее — тем лучше, чем дороже — тем лучше, чем больше препятствий — тем лучше.

ИИ убьет рерайтеров и сделает контент дороже? Отлично, у нас есть топовая редакция для создания действительно экспертных материалов.

Маркировка рекламы у блогеров грозит уничтожить рынок нативок? Не проблема, мы разобрались и уже продаем блогерам и заказчикам консультации по маркировке.

Чаще всего фискальные, регулятивные и технические ограничения — это решаемая проблема для профессионала и неразрешимое препятствие для новичка.

Если в бизнесе вы можете решить проблему за деньги — это не проблема, это возможность. Главное, помните о том, скольких конкурентов эта проблема убрала с вашего пути.

P.S. Редакция MOAB выражает глубокую признательность CMO Hoff.ru Виталию Шахматову за возможность поделиться данными по сбору семантики для проекта.