Анализ запросов из Метрики: когда трафик есть, а клиентов бизнес не получает

Трафик на сайт есть, а клиентов с сайта нет? Возможно, ответы вы найдёте в поисковых запросах из Яндекс-Метрики. Однако работать с запросами из неё не так просто. Разберём метод анализа поискового трафика, основанный на NLP-пайплайне.

Анализ запросов из Метрики: когда трафик есть, а клиентов бизнес не получает

Яндекс-Метрика – источник ценнейшей информации для SEO. Однако мало кто любит работать с этими данными: запросы от реальных пользователей совсем не похожи на нормализованные запросы из «Вордстат». Вы не будете обрабатывать их вручную, кластеризовать по топу выдачи, они в принципе чаще всего плохо укладываются в те семантические структуры, что мы считаем целевыми. Но главное – чаще всего они относятся к «длинному хвосту», уникальным запросам без статистики и частотности.

Методы векторной семантики (например, NLP-пайплайны) позволяют преодолеть эти проблемные моменты. Запрос преобразуется в векторный формат (эмбеддинг), и даже если изначально этот запрос сформулирован самым диким образом – не проблема, модель в состоянии понять синонимы, справиться с нестандартными формулировками, наличием или отсутствием каких-то вспомогательных слов, ошибками и т.п. Разберем логику такого подхода.

Зачем вообще смотреть на поисковую статистику Метрики

Поисковые системы показывают сайт не всегда по тем запросам, что было задумано оптимизатором. Бывает так, что эти запросы в принципе не те, что нужно. Другой вариант: страничка на какое-то время показывалась по важным запросам, а потом вылетела, потому что Яндекс счёл её недостаточно хорошей. Пропустить такие запросы проще простого, и Яндекс-Метрика – практически единственный способ заметить проблему.

Большинство SEO-инструментов работают с оценками: частотность из Вордстата, прогноз трафика, сложность и конкурентность запроса. Но всё это — только модели. Яндекс-Метрика даёт то, чего нет ни в одном внешнем сервисе: фактические запросы, по которым люди уже пришли на ваш сайт, с реальными визитами, посетителями, отказами, глубиной и временем на сайте.

Из отчёта «Поисковые запросы» вы получаете срез того, что происходит именно с вашим сайтом в вашем регионе и в вашей нише — без допущений, без «средних по рынку», без задержек обновления сторонних баз. Факты, никаких гипотез и прогнозов.

Такой анализ закрывает сразу несколько задач:

  • Проверка текущей семантики — по каким запросам сайт реально виден, а по каким нет.
  • Оценка качества посадочных страниц — через отказы, глубину и время.
  • Поиск неожиданных точек роста — запросов, о существовании которых вы не знали.
  • Формирование контент-плана — на основе кластеров, а не отдельных фраз.
  • Приоритизация работ — через интегральный показатель (в скрипте это KEI – показатель эффективности ключевой фразы).

Чтобы вам не было скучно («Ой, опять он с этими своими эмбеддингами, триплетами и косинусами») – рассмотрим практику, прежде чем разбирать процесс.

Пример практического применения

Сайт из b2b-ниши, поставляющий на российский рынок промышленное оборудование. Трафик из Яндекс ежедневно – в среднем около 50 человек.

Выгружаем запросы за 2 года. В csv сразу удаляем запросы с упоминанием бренда (витальные запросы чаще всего неинтересны, мы ищем проблемные моменты).

Алгоритм насчитал 1229 групп, в «шумы» отправил 8774 запроса, большинство из которых имеют единичные визиты. Однако на первом месте – информационный запрос, по которому сайт ранжируется в топ-1 и получает устойчивый трафик, активно цитируется «Алисой», при этом время на сайте – 00:00:03 и отказы – 80%. Отличный повод оценить контент и понять: причина отказов – боты? Несоответствие формата, ожидаемого пользователями? Возможно, мне просто стоит взять временной отрезок поменьше, поскольку статистику могут портить устаревшие данные.

Оцениваем кластеры, наибольшее внимание обращая на те, где KEI мал, а трафик устойчив. Можно предположить, что сайт по запросу ранжируется высоко, но что-то не так с контентом или посетителями.

Пример: запрос «насосы 4qwerty». Сайт по ней в топе. Оцениваем ранжируемую страничку: это случайная товарная карточка, практически без полезного контента. При этом есть более релевантная страница-категория, где все товары полностью соответствуют запросу. Однако текстовое описание – о битумных насосах вообще, а не о конкретной марке, которую и предлагает компания. Такого контента нет. Вероятность того, что посетитель, попав на нерелевантную страницу, станет искать более подходящую, а не вернётся на выдачу – минимальна. Значит, надо думать: полностью перетачивать категорию под бренд, добавлять подкатегорию или достаточно скорректировать текстовое описание, сделав акцент на запрашиваемой марке. Смотрим в «Вордстат» – 30 запросов в месяц, в нише, где каждая покупка – сотни тысяч и миллионы, это много. И спрос, судя по «Вордстат», растёт. Делаем выводы.

Другой пример: кластер запросов, связанных с автоматизацией процессов на заводе. Отказной трафик. Что не так? – Вероятно, проблема в генеренке, которую видно невооруженным глазом: нет конкретики и примеров, шаблонные блоки, и что хуже всего, интент по сути – коммерческий, тогда как посетитель ищет информацию. Надо добавлять технические детали, прокачивать экспертизу и уточнять, что же на самом деле ищет целевая аудитория. Сейчас это – маркетинговый контент, плохо замаскированный под статью. Статья, которую я сгенерировал, легко получила топ, но по факту для аудитории оказалась мусором. Надо переделывать.

Не менее интересно разобрать и группу запросов, которые алгоритм не смог кластеризовать и отправил в «шумы». Здесь много нерелевантных запросов уровня «фото», «что это», информационных запросов, которые едва ли можно конвертировать, однако встречаются и очень интересные коммерческие. Можно проработать их отдельно, учитывая, что кластеризация такого рода – довольно грубый инструмент, а результаты его ещё нужно валидировать поисковой статистикой, ценностью для бизнеса, результатами поисковой выдачи и т.п.

Пайплайн по шагам

Рассмотрим общую логику процесса. Используется Python, его библиотеки, модель вложений (я использую embeddingGemma через LM Studio или Ollama).

  1. Выгружаем статистику по поисковым запросам из Яндекс-Метрики за внятный период. Минимум – 3 месяца, если у вас достаточно интенсивный трафик на сайт. В нише, где трафика мало, лучше брать статистику за год. Яндекс отдаёт эти данные в формате csv или xslx, берём csv.
  2. Загружаем Python, запускаем локальный сервер, загружаем модель вложений.
  3. Процесс начинается с загрузки полученного CSV. На первом шаге скрипт нормализует колонки, присваивает каждой обязательное типовое имя. CSV может быть (и чаще всего и бывает) ненормализованным, приводим его в типовой вид. Например, в колонке отказов может быть знак % - а может и не быть, пробелы могут варьироваться, время на сайте может передаваться в разных форматах. Ремонтируем.
  4. Диагностируем метрики, чтобы определить пороги: на реальных выгрузках может быть под 90% запросов, по которым был единственный визит единственного посетителя, и запрос явно не укладывается в какие-то группы. Скрипт подсчитывает, сколько их таких. Ненужное будет отсечено.
  5. Фильтруем запросы с неправильной раскладкой. Эвристика помечает строку как мусор, если нет ни кириллицы, ни латиницы, длина больше 4 знаков, а доля гласных ниже определенного порога. Под раздачу могут попасть короткие запросы (какие-нибудь товарные артикулы или аббревиатуры), но они чаще всего сопровождаются внятным «хвостом» на русском языке.
  6. Дедупликация опечаток: строки сортируются по убыванию, каждая следующая фраза сравнивается со списком выше. При заданной схожести запрос склеивается с базовой формой.
  7. Оцениваем, что остаётся после фильтрации. Может получиться так, что не остаётся почти ничего. В этом случае стоит немножко ослабить пороги и посмотреть глазами, имеем ли мы просто кучку мусора или скрипт слишком кровожадно обрабатывает данные. Я обычно оставляю самые щадящие настройки.
  8. Время переводить слова в цифры: модель вложений переводит текст в понятный машине формат. Полученные эмбеддинги группируем с помощью HDBSCAN. Я в этом случае не понижаю размерность, хотя нет серьёзных причин её игнорировать. Впрочем, нет серьёзных причин и понижать размерность: модель embeddingGemma-300m даёт векторы, в которых семантическая близость уже закодирована, а речь идёт об очень коротких текстовых фрагментах – это поисковые запросы. Короткие поисковые запросы содержат минимум контекста, поэтому каждый бит информации в векторе важен для различения близких по смыслу формулировок.
  9. Агрегируем данные. Каждому кластеру присваивается метка, пересчитываются отказы по кластеру, считается количество фраз в каждой группе, определяется KEI, присваиваем условный интент. Интент в данном случае определяется грубо, по словарю, потому и условный.
  10. Полученные данные экспортируются в удобный для вас формат. Я, к примеру, вывожу в «Эксель» с тремя листами (детальная таблица по запросам, вкладка с кластерами, вкладка с «шумами».

Как видно из описания, пайплайн немного напоминает BERTopic и выполняет сходные задачи. А теперь рассмотрим достоинства и недостатки метода.

Почему это один из лучших методов, особенно на больших объёмах

Когда у вас 500 запросов, их можно разложить по полочкам вручную. Когда 5 000, 15 000 или 50 000 — ручной разбор невозможен, и здесь проявляются главные преимущества алгоритмической обработки.

Работа с фактическим длинным хвостом

Выгрузка Метрики по поисковым запросам — это по определению длинный хвост. Основная масса строк имеет visits = 1, visitors = 1. Внешние сервисы такой хвост либо не видят, либо не показывают из-за порогов частотности. А именно в хвосте часто скрываются неожиданные формулировки, которые использует ваша аудитория, профессиональный сленг, конкретные уточнения, проблемные запросы, которые не входят в стандартные семантические ядра.

Автоматическая кластеризация вместо ручной группировки

Пайплайн объединяет запросы не по каким-то ключевым словам, а по смысловой близости векторов (эмбеддингов). Это даёт три важных эффекта:

  • Кластеры отражают интент, а не лексику. «Купить горный велосипед» и «велосипед горный цена» попадут в один кластер, даже если у них нет общих словоформ в строгом смысле.
  • Не нужно писать регулярные выражения. HDBSCAN сам решает, где границы.
  • Масштабируется линейно. Тысячи запросов обрабатываются за минуты.

Поведенческие метрики как фильтр качества

Классическая кластеризация по частотности не знает, приносят ли эти запросы пользу. А у вас в руках есть отказы, глубина и время. Методика позволяет присвоить каждому кластеру интегральный показатель (KEI кластера) и сразу увидеть, где трафик есть, но качество низкое.

Прозрачность логики

В отличие от «чёрного ящика» внешних сервисов, вы видите каждый шаг: как фильтруются строки, как определяются проценты отказов, как считается KEI. Это значит, что результат можно объяснить заказчику и защитить на защите стратегии.

Логика простая: чем меньше данных, тем мягче пороги; чем больше данных, тем крупнее кластеры и строже дедупликация.

Недостатки и ограничения метода

Чудес, однако, ожидать от пайплайна не стоит. Это достаточно грубая классификация, к тому же работающая с «шумными» данными, прошедшими фильтрацию самого Яндекс, испытавшие набеги поведенческих ботов, «быстрые» топы (сайт показывался по запросам пару часов, но выпал – и насовсем).

Зависимость от существующего трафика

Метрика видит только те запросы, по которым уже были визиты. Если сайт новый или страница ещё не индексирована — запросов по этой теме в выгрузке не будет. Метод не заменяет сбор семантики из Вордстата и конкурентов, а дополняет его.

Смещение к тому, что уже ранжируется

Вы увидите только то, по чему сайт уже показывается. Запросы, по которым вы невидимы, в данных отсутствуют. Значит, анализ не выявит пробелы в семантике — только покажет, что уже работает или не работает.

Мало данных — мало пользы

На маленьком сайте (десятки-сотни запросов) кластеры будут мелкими, шум — большим, а KEI — нестабильным. HDBSCAN при min_cluster_size=3 может отправить в шум половину строк.

Ограничения HDBSCAN

  • Шум — это нормально. Часть запросов всегда уйдёт в -1. Это свойство метода.
  • Чувствительность к параметру, определяющему минимальный размер кластера. min_cluster_size сильно влияет на результат: от 3 до 10 картина меняется радикально.
  • Плотность важнее расстояния. Если в семантике есть «разреженные» темы (узкие B2B-нишевые запросы), они могут не собраться в кластер вовсе.

Грубость определения интента

Словарный подход к интенту — быстрый, но поверхностный. Он не понимает контекст («как купить» — это транзакция или информация?), не различает оттенки («обзор» в B2B и в B2C — разные интенты), может ошибаться на коротких запросах из одного слова.

Если интент критичен для стратегии, разметьте топ-20 кластеров вручную.

KEI — не конверсия

KEI (индекс эффективности ключевой фразы) в данном случае строится на визитах и отказах. Он не учитывает целевые действия (заявки, звонки, покупки), микроконверсии, не понимает ценность разных кластеров для бизнеса (информационный кластер может давать трафик, но не деньги).

Для полноценной приоритизации KEI стоит сочетать с данными по конверсиям из Метрики (отчёт «Конверсии» по тем же запросам). Кроме того, формулу KEI можно использовать абсолютно любую, я в этом случае выбрал один из самых простых вариантов, достаточных для быстрой оценки.

Специфика метрики «Отказы» в Метрике

Яндекс-Метрика считает отказом визит короче 15 секунд или просмотр одной страницы. Для длинных информационных статей это может завышать отказы: пользователь прочитал всё, но не кликнул никуда. Учитывайте это при интерпретации кластеров с информационным интентом.

Полезно опираться на классические принципы оценки поведенческих метрик самого Яндекса: в некоторых тематиках негативно влияет время более 30 секунд на странице, а в других отказом может быть время менее минуты. Мы не можем учитывать такие нюансы в обработке данных, и работаем с тем, что есть.

Резюме

Анализ поисковой статистики Метрики с автоматической кластеризацией превращает сырую выгрузку в структурированную картину спроса и качества. Его сильные стороны — работа с реальными данными, масштабируемость на большие объёмы, прозрачность и воспроизводимость. Его ограничения — зависимость от существующего трафика, грубость интентов и прокси-природа KEI.

Лучший результат даёт комбинация: Метрика показывает, что уже происходит; Wordstat — что ещё может произойти; конверсионные отчёты — что из этого приносит деньги. Именно в таком треугольнике метод раскрывается полностью — и именно так он превращается из технической процедуры в основу SEO-стратегии.

Код для анализа запросов из Метрики можно забрать здесь, но вам ничто не мешает использовать вайбкодинг для подготовки своего пайплайна, если вы поняли логику.

11