Семантическое ядро для сайта. Пошаговое руководство без воды

Привет. Я занимался сбором семантического ядра для своего сайта с разными перерывами на протяжении последних 3 лет. До этого лет 10 меня тошнило от самой идеи. Я приступал к этому процессу, бросал, потом пробовал снова и снова бросал. SEO казалось чем-то таким заоблачным. Типа, пришёл какой-то волшебник и что-то там насеошил.

К моему большому сожалению, обилие тренингов, статей, лекций и видосов на YouTube не сильно облегчают понимание процесса сбора и обработки семантики. Перелопачивать все эти тонны воды могут лишь не все😊 А сеошники любят налить воды, мы все про это прекрасно знаем. Смотришь вот так разные тренинги, а у преподов в голове сплошная каша. Когда человек не может сформулировать свои мысли в краткой статье, ему явно не стоит преподавать. Я решил попробовать. Кратко не получилось 😊

На данный момент я занимаюсь внедрением собранной семантики на сайт и решил написать эту статью. Возможно, она поможет тем, кто только начинает в этом разбираться. Мне бы точно очень помогла. Это, по сути, пошаговое руководство. Что, за чем, как и в каком порядке стоит делать. «Делать» никуда не денется, работать придётся много, но зато теперь с пониманием, куда и как двигаться и где вообще конец этого бесконечного тоннеля.

Но, хватит предисловий, приступим к алогоритму.

Важная ремарка. Здесь не будет конкретных рекомендаций по работе с Excel. Будем считать по умолчанию, что интернет маркетолог хорошо знаком с этим инструментом. Key Collector тоже не должен быть для вас чем-то новым.

Также должен сказать, что читать этот мануал по диагонали бесполезно, т.к. он представляет из себя конкретный набор шагов, которые нужно выполнять. Без выполнения, всё это чтение "по буллетам" вам ничего не даст. Делюсь, потому что понимаю, что этот каторжный труд осилят единицы.

Итак, для сбора и обработки семантического ядра вам понадобится:

Доступы:

· Google search console

· Yandex метрика

· Yandex webmaster

Программы:

· Key Collector

· SEO Screaming Frog

· MS Excel

· Надстройка для парсинга yandex webmaster в google chrome

Платные сервисы и услуги:

· 10 прокси для Key Collector

· Pixeltools

· Just Magic

Cбор семантического ядра представляет из себя систему воронок, через которые просеиваются запросы. На каждом из этапов фильтрации вы постепенно избавляетесь от мусора.

Вам предстоит много ручной работы, много часов труда. Чем выше ваша вовлеченность в бизнес и понимание тематики, тем проще вам будет отделить мусор от полезных запросов.

Вводные данные: у вас уже есть сайт, который вы создали по своему усмотрению и пониманию того, каким должен быть идеальный поисковый спрос. Пора столкнуться с суровой реальностью. Сайт приносит какие-то деньги, но хочется больше.

Источники семантики / запросов:

· Keyso - сервис видимости конкурентов

· Счётчики на вашем сайте (метрика, вебмастер, сёрч консоль)

· Yandex wordstat

· Метатеги сайтов конкурентов

· Подсказки в Yandex и Google

ШАГ 1. Сервисы видимости

1. Находите на kwork или подобной бирже человека, который делает выгрузки из keyso за деньги. Покупаете у него выгрузку по 15 основным конкурентам. 15 будет достаточно. Если вы занимаетесь своей темой давно, 15 основных конкурентов у вас уже будут на слуху. Это будет большущая таблица с запросами.

2. Делаем выгрузку из метрики и сёрч консоли

3. Собираем с помощью плагина для google chrome информацию из вебмастера

Где смотреть:

· Метрика: стандартные отчеты - источники - поисковые запросы

· Вебмастер: поисковые запросы - управление группами - все запросы

· Сёрч консоль: эффективность - запросы

Делаете выгрузку за 1 год из этих источников.

ШАГ 2. Парсинг конкурентов

Находите сайты конкурентов. Чем больше найдёте, тем лучше.

Осматриваете сайты на предмет оптимизации. Обычно сразу видно, ведется над сайтом работа или он сделан лишь бы как и не стоит внимания.

Парсите все отобранные сайты с помощью программы SEO Screaming Frog. Вам нужны данные из полей title и h1.

Как правило, у большинства сайтов эти теги сделаны по шаблонам и не составит большого труда удалить из тегов лишнюю информацию и оставить только ключевые слова.

Обрабатываете title и h1 конкурентов в Excel. Собираете всё это в одну большую таблицу.

ШАГ 3. Фильтрация по частотности

Загружаете результаты ваших сборов в Key Collector.

Настройки в KC - вашего региона, если бизнес сильно к нему привязан. Если он универсальный, выставляйте Москву. Там будет больше статистики.

Можно предварительно перед загрузкой в Key Collector заменить в вашей базе слов точки, запятые, тире, дефисы и слэши на знак пробела и почистить фразы от двойных пробелов.

Можно предварительно почистить вашу базу от мусора. На ваше усмотрение. Но я на этом этапе не советую этим заниматься, т.к. база очень большая и проще сначала убрать из неё всё, что можно, автоматически.

К этому моменту вам понадобятся платные прокси. Покупаете их и прописываете в настройках программы Key Collector. Настройки для парсинга не привожу. Нагуглите сами. Вы уже большие.

Итак, вы загружаете в KC вашу базу ключевых слов и парсите базовую частотность с помощью прокси. С вашего основного IP парсить бесполезно. Это пустая трата времени и потенциальный бан от поисковой системы.

Если частотность собирается слишком долго, можно воспользоваться платными сервисами типа https://moab.tools/Parse/CheckWordstat

Ваша задача на этом этапе избавиться от нулевых запросов.

После парсинга базовой частотности переносите нулевые запросы в отдельную мусорную папку в Key Collector. Вы НЕ удаляете запросы. Это нужно для того, чтобы в дальнейшем мусор не попадал в вашу базу по второму кругу.

В вашем проекте в KC теперь будет три папки для мусора:

1. базовая частотность = 0

2. "точная частотность" = 0

3. "!точная !частотность" = 0

Как вы уже поняли, после того, как вы уберете запросы по первому параметру, нужно будет спарсить частотности по двум остальным

После каждого из этапов чистки, запросов в вашей семантике будет оставаться всё меньше, а мусора будет становиться всё больше.

При сборе базовой частотности может оказаться, что для каких-то запросов она не собирается. Это нормально. Запускайте сбор частотности повторно. То, что не собралось, соберется. Останутся:

· запросы слишком длинные (больше 7 слов).

· запросы со спец символами

Кто-то заморачивается и пытается оставить длинные запросы в ядре. У меня не настолько конкурентная тематика, поэтому я их просто переношу в мусор. Поверьте, вам хватит работы и без них. И при желании в дальнейшем к ним можно будет вернуться.

ШАГ 4. ГЕО

После того, как в вашей базе остались запросы с "!точной !частотностью" > 0, мы чистим их по ГЕО. Удаляем гео запросы.

Для этого вы лично формируете свою первую базу минус слов для KC – ГЕО.

Там будут города, населенные пункты, регионы, области, страны в различных вариантах склонений и описаний. Для склонения можно использовать сервис https://morpher.ru/Opt/

ШАГ 5. Мусор, часть 1

После чистки по ГЕО вы составляете собственный словарь мусорных "минус слов". Вы собираете ваш персональный список минус слов, таких как: порно, скачать, форум и прочее.

Список будет постепенно расширяться, упрощая вам первичную фильтрацию в дальнейшем. Не ленитесь добавлять в него частотные мусорные слова. Для каждой тематики такой список минус слов свой собственный. Поэтому не стоит искать какие-то универсальные списки. Создавайте свой собственный.

Слова, которые наиболее часто встречаются в вашем списке запросов можно посмотреть с помощью инструмента "анализ групп" в KC. Да, там можно искать не только что-то полезное, но и мусор. Вообще именно с поиска мусора в этом инструменте и стоит начать. Сканировать список запросов глазами – так вы далеко не уедете.

Удаляем из нашего списка самый очевидный мусор.

ШАГ 6. Бренды

Отделяем брендовые и товарные запросы от чистых категорийных. Для этого вы составляете собственный список брендовых "минус слов". Сюда входят различные варианты написания брендов, транслит, опечатки.

Отсеиваете список запросов по брендам, вынося все такие запросы в отдельную папку "Брендовые запросы".

ШАГ 7. Инфо

Отделение инфо запросов. Составляете ваш собственный словарь минус слов, которые позволят отделить информационные запросы от коммерческих. Сюда входя такие слова как отзывы, топ, рейтинг, лучший, обзор, и т.д.

Убирайте информационку в отдельную папку "информационные запросы"

ШАГ 8. Товарка

Отделяете бренды от товаров. Часто в названиях товаров используются цифры - это один из простейших способов отделить бренды от товаров.

Если брендовый трафик для вас имеет большое значение, работайте с этой папкой в KC.

Используйте возможности KC для поиска: "анализ групп" - это очень мощный инструмент

Также вам пригодятся инструменты фильтрации, такие как «фраза содержит / не содержит»:

· цифры

· латинские буквы

· буквы кириллицы

· повторы слов

ШАГ 9. Первичная структура

Составление первичной структуры сайта в Key Collector. Это необходимо для упрощения дальнейшей фильтрации.

Создавая структуру сайта в KC, вы также упрощаете себе в дальнейшем парсинг и обработку запросов, т.к. они будут собираться примерно из одной и той же темы / группы запросов и отсеять мусор из одной такой пачки намного проще, чем пытаться убрать его из одной большой общей кучи.

Чем детальнее вы создадите структуру проекта в KC, тем проще вам будет работать

Данная структура нужна только для парсинга и фильтрации. То, что вы будете внедрять на сайт, от этой предварительной структуры будет очень сильно отличаться

ШАГ 10. Сортировка

Работаете со "структурой", сортируя запросы по папкам, параллельно избавляясь от мусора. Это самый длительный и занудный процесс, но его нужно пройти.

Параллельно вы будете находить гео, мусор, информационку, брендовые и товарные запросы, а ваши словари минус слов будут пополняться. Структура будет становиться более детальной и понятной. У проекта начнут вырисовываться черты, вы наконец-то поймете, сколько всего вы упустили.

Вы научитесь работать с "анализом групп" и фильтрами в KC, помимо структуры создадите необходимые лично вам подпапки в KC.

В целом уже начнёт складываться понимание как это всё работает, что удобно, а что - нет.

Заодно, поковырявшись в меню КС, вы найдете способы простого перемещения списков запросов по папкам. и в целом поднатореете в тематике.

Заодно увидите сколько новых вариантов написания уже известных вам запросов существует, а вы о них и не догадывались.

ШАГ 11. Отдохните

Итак вы разгребли вот это всё: метрика, вебмастер, сёрч консоль, keyso, метатеги конкурентов.

Это уже большое достижение. У вас уже также создана структура сайта в KC для парсинга запросов, которая позволит эффективно собирать вам нужные группы запросов.

К этому моменту вы должны уже ненавидеть KC и его мелкие буковки, правая рука - стонать от приближающегося тоннельного синдрома, а глаза - просить пощады.

Ну что, же, приступим к парсингу.

ШАГ 12. Парсинг запросов

Благодаря сформированной структуре, вы можете зайти в любую из папок с запросами, включить анализ групп и найти там все существительные.

Существительные - это основа маркеров для парсинга.

«Анализ групп» позволяет легко найти самые частотные слова и легко составить небольшой список маркерных фраз для последующего парсинга Wordstat.

Итак вы составили список маркеров для конкретной папки. Берете их и все запросы, которые уже есть в этой папке и собираете вордстат по всем этим фразам.

Далее повторяете перечисленные выше этапы с чисткой. Теперь чистка будет проходить уже намного проще, ведь вы работаете с небольшими участками сем ядра. И мусор в таких условиях чистить гораздо проще. Ведь то, что является мусором в одной категории, в другой – совсем не мусор. В общем, вы меня поймете, когда поработаете в KC хоть немного.

Чистку опять начинаете с частотности, потом гео, мусор, бренды, информационка. В итоге останется не так много рабочих запросов.

При парсинге сюда будут прилетать запросы из других групп, сортируем всё это дело по своим местам.

ШАГ 13. Глубокий парсинг

Если вы хотите максимально глубоко погрузиться в тему, вы берете высокочастотные слова и парсите их в таких вариантах

· "слово слово слово слово слово слово"

· "слово слово слово слово слово"

· "слово слово слово слово"

· "слово слово слово"

· "слово слово"

· "слово"

Таким образом вы максимально обходите ограничения Wordstat по выводу слов, ведь глубина просмотра статистики у него всего лишь 41 страница и в больших тематиках этого часто не хватает.

Для этого вы и парсите 6-5-4-3-2-1-словники по-отдельности.

ШАГ 14. Сбор подсказок

После того как пройдены все 13 предыдущих этапов, вы берете все запросы из любой папки и парсите по ним подсказки.

Далее чистите, фильтруете и сортируете.

Работа довольно муторная как и всё что связано с сем ядром, но зато вы можете быть уверены, что мало кто из конкурентов способен пройти через весь этот ад. Ну и фильтровать подсказки по конкретным группам – это детский сад по сравнению с тем, что вы уже проделали ранее.

ШАГ 15. Just Magic

Ура. вы собрали сем ядро. Радоваться, однако, рано. Собранная и внедрённая семантика - это две больших разницы. Приступим к следующему этапу.

На данном этапе основная работа с KC закончена и мы переносим собранное сем ядро / а точнее ту часть, с которой вы решаете работать, в Excel.

Работайте с отдельными группами, относительно большими кластерами, которые вы бы вынесли на первый / максимум на второй уровень в меню вашего сайта.

Не стоит сильно углубляться в подпапки но и не стоит сразу хвататься за весь сайт.

Берём группу запросов, с которой мы решили работать.

Регистрируемся в Just Magic и парсим там частотность ["!слово !слово"] - это самая точная словоформа и порядок слов, именно её стоит использовать в работе.

JM любит сортировать запросы по алфавиту. Учитывайте это и используйте формулы Vlookup / ВПР в Excel.

Убираем из нашего списка в Excel все запросы, у которых ["!слово !слово"] = 0.

Создаём новый пустой (!) проект в KС.

Загружаем в него оставшиеся запросы и супер точную частотность, полученную в Just Magic.

Используя инструмент KC "анализ неявных дублей", отмечаем в списке "неявные дубли".

Выгружаем полученный список в Excel, вставляем эти данные в нашу таблицу

Убираем из списка запросов в Excel неявные дубли.

Вы только что сократили вашу табличку примерно на 30-40%.

Для оставшихся запросов используем сервис "тематический классификатор" Just Magic.

Он позволяет еще более точно просеять оставшийся список и найти потенциально проблемные запросы, которые стоит убрать из ядра.

Проходимся по списку глазами/руками еще раз, отмечая лишнее.

ШАГ 16. PixelTools

Итак у нас остались запросы без дублей, с максимальной точной частотностью, просеянные через тематический классификатор.

Регистрируемся в Pixeltools и собираем там параметры «Гео/коммерциализация», а также делаем кластеризацию запросов в Just magic.

Это всё платные инструменты. Но если вы когда-нибудь сливали деньги в контексте, суммы за эти услуги не должны вас шокировать. Экономить тут не стоит. И стоит это совсем не космических денег, ведь вы делаете семантику для себя любимого.

Почему кластеризация в JM? Потому что там очень удобно за один проход делается кластеризация на нескольких уровнях. Это очень наглядно и выглядит в Excel позволяет быстро перегруппировать запросы в случае необходимости, не прибегая к повторной кластеризации.

Не нужно возиться с кучей настроек в Key Assort, не нужно по нескольку раз перекластеризовывать ядро, ища подходящий вариант, в Pixeltools тоже кластеризация не наглядная. JM на данный момент в табличном виде мне кажется самым удобным.

Почему идёт работа с 2 сервисами? Это упрощает аналитику и помогает сделать выбор, основываясь на показаниях в 2 разных источниках. В таблицах с такими данными работать намного проще.

В итоге у вас будут собраны вот эти параметры:

Pixel tools:

· геозависимость

· локализация

· комерциализация

· витальный ответ

Just Magic:

· "[!проверяемая !фраза]"

· тематика

· группировка по 4 уровням

· наличие главных страниц в выдаче

· комерциализация

· геозависимость

К сожалению, в JM нет возможности собрать гео и коммерцию отдельно, это работает только при кластеризации. Ну, работаем с тем, что есть.

ШАГ 17. Excel

Обработка таблиц с полученными данными в Excel. Сортируете всё это чудо, используете условное форматирование столбцов с необходимыми вам данными, чтобы проще их читать.

На этом этапе из списков ваших запросы отсеются потенциальные инфо запросы, которые вы посчитали коммерцией.

А также вы быстро пройдётесь по названиям групп, которые уже были выгружены из KC и сравните их с данными, полученными в JM.

Это первичная кластеризация с первой ручной корректировкой данных

ШАГ 18. Чистовая кластеризация

После отсева мусора в результате первичной кластеризации, берете оставшийся у вас список запросов из разных подгрупп одного большого раздела, сваливаете их в кучу и на этот раз делаете кластеризацию уже всего списка запросов в JM.

Она пройдёт более качественно, т.к. мусор вы уже убирали руками. Он всё равно будет, но уже в единичных случаях. В целом это и есть ваш финальный список запросов.

Далее вы проходитесь по нему вручную и решаете, нужно ли дробить какие-то кластеры на отдельные, переносить ли какие-то запросы из одной группы в другую.

Сортировка по группам в JM + ваша личная сортировка запросов по группам, которую вы сначала сделали в KC, а потом перепроверили в Excel, сделает обработку финального списка запросов простой и наглядной.

В итоге у вас получится таблица, которая называется "карта релевантности". В ней будут сгруппированы запросы для каждого из кластеров. Вам останется только проставить для них продвигаемые URL.

У многих групп запросов таких URL / страниц не будет, их придётся создавать на сайте.

Проанализировав получившиеся группы / кластеры, вы поймете для каких из них нужны отдельные страницы, а для каких хватит настроек в фильтрах категорий на сайте.

Далее, работая уже с конкретным ассортиментом на сайте, вы поймете, что некоторые из полученных в результате кластеризации групп просто нельзя использовать, потому что в каталоге нет таких товаров, соответственно, список рабочих кластеров станет еще меньше.

Всё. Создаете страницы и следите за апдейтами.

В итоге у вас есть:

1. Проект в KC который вы можете пополнять новыми запросами, ведь конкуренты не спят и стоит периодические заглядывать к ним, смотреть, что у них новенького. Парсить их и ваши маркеры.

2. Карта релевантности - вещь, которая есть далеко не у каждого.

3. Благодаря карте релевантности у вас есть чёткое понимание, какие страницы нужно создать, какого ассортимента не хватает на сайте, как его стоит там разместить, как изменить структуру каталога для удобства навигации, какие страницы наиболее популярны и значит должны быть наиболее заметны в меню и навигации. Всё это было бы невозможно без описанных выше шагов.

4. Если вы захотите написать инфо статью, у вас уже будут собраны инфо запросы в вашем проекте. Останется только немного их доработать.

Если сайт и ассортимент большой, эти все описанные шаги нужно будет проделать для каждого из больших разделов. Невозможно осилить всё сразу, но у вас уже есть очень мощная база, к работе над которой вы можете вернуться в любой момент, как только у вас появится вдохновение.

Пример предварительной группировки одной большой группы товаров в KC для мотивации. По цифрам в мусоре вы можете понять сколько всего пришлось отсеять.

Автор мануала https://www.facebook.com/gtrplayer