88 % страниц моего агрегатора имели 0 частотность запросов. Как я убрал эти страницы

Всем привет. Последние годы я занимаюсь развитием с 0 (в частности, SEO продвижением) своих сайтов-агрегаторов. Я написал достаточно много статей про внутреннюю кухню развития таких сайтов (кому интересно все статьи в моём аккаунте vc.ru)

В данной статье на примере одного из своих агрегаторов msk.gde-mrt.ru (ниша - запись на МРТ и КТ), хотел показать, как я решал проблему так называемых малоинтересных страниц.

Всем, кто занимается сайтами-агрегаторами, либо похожими по структуре сайтами, может быть полезно.

В документации яндекса ( ссылка ) можно увидеть, что сам Яндекс выделяет Малоценные И маловостребованные страницы.

Малоценная страница - страница может быть признана малоценной, если она является дублем или не содержит видимый роботу контент.

Маловостребованная - Робот Яндекса проверяет, насколько востребован контент страницы пользователями. Алгоритм оценивает каждую страницу, будет ли она показана по запросам на тех позициях, где пользователь сможет ее найти. Если страница без ошибок в HTML-коде, содержит контент, но в поиске нет пользователей и запросов, на которые она могла бы ответить, страница может быть исключена из поиска как маловостребованная.

В моём эксперименте меня интересовали именно Маловостребованные страницы. Проблема малоценных страниц решается через уникализацию контента, это отдельная история.

Почему вообще стоит решать эту проблему? Ответ прост:

Поисковики понижают общий рейтинг сайта за большое кол-во малоценных и маловостребованных страниц. Подробно про это писал другой автор в статье .

Итак, другими словами, маловостребованные страницы - это страницы, Семантическое ядро которых, равно нулю.

Всё достаточно просто.

Фундамент(ядро) сайта-агрегатора - это формирование страниц по шаблону через пересечение фильтров. Покажу на примере одного из своих агрегаторов https://msk.gde-mrt.ru/

Перед вами пример страницы листинга ( это типовая страница ) https://msk.gde-mrt.ru/mrt/ на которой выводятся все клиники, в которых можно сделать МРТ в Москве.

Title H1 текст и Description данной страницы создаются на базе шаблона, который прописывается в админке сайта один раз.

Таких уникальных страниц формируется тысячи и даже десятки тысяч. Каждый новый выбранный фильтр формирует новую уникальную для поискового робота страницу.

Например, я выбрал 2 фильтра и получил новую страницу https://msk.gde-mrt.ru/mrt/mrt-golovnogo-mozga/aviamotornaya/ с уникальными метаданными и уникальными объектами ( в моём случае это клиники)

При таком пересечение возникает одна глобальная проблема. Опять же посмотрим на примере моего конкретного агрегатора. У меня в карте сайта было около 50 000 страниц таких пересечений.

Назревает справедливый вопрос. А зачем вообще делать фильтр, если запросов под такую страницу нет?

Опять же покажу на примере. Посмотрим Скрин СЯ, отфильтрованный по метро Жулебино (метро - это фильтр, как вы помните)

По запросу МРТ желибно есть частотности, а вот, например, по запросу мрт печени жулебино запросов нет, частотности всех типов = 0.

Т.е. мы не можем просто “в лоб” убрать метро Жулебино, мы должны оставить только некоторые пересечения.

Задача была - оставить все эти фильтры на фронте, при этом удалить все страницы, которые не ищут. Прежде чем ниже опишу, каким элегантным решением мы закрыли эту проблему, покажу сколько конкретно на моём агрегаторе МРТ центров было таких страниц без частотностей:

88% из 50000 страниц не имели никакой частотности. На выходе, после решения данной проблемы, осталось чуть больше 6000 страниц.

Каждый фильтр у меня настраивается в разделе Категории. Т.е. Метро Жулебино - это дочерняя категория Материнской Категории Метро. В админке нужно зайти в категорию метро Жулебино и проставить в специальной настройке только те категории, пересечения с которыми мы хотим оставить.

В скрине выше мы видим, что стоит галочка напротив МРТ, поэтому у нас есть полноценная страница https://msk.gde-mrt.ru/mrt/zhulebino/

А вот напротив МРТ печени галочки нет, и вуаля, мы получаем страницу https://msk.gde-mrt.ru/mrt/mrt-pecheni/?or[]=zhulebino

И для таких страниц мы в коде закрываем индексацию

У моего контент-менеджера заняло 2 дня руками проставить настройки для всех фильтров. В целом не критично. Рекомендую раз в период ( думаю раз в 3-5 месяцев вполне достаточно), перепроверять частотности и оживлять страницы, у которых появилась частотность).

Примерно ту же информацию я оформлял в видео формате, кому удобнее смотреть, чем читать

*****

Также я написал движок для агрегатора услуг. Если вам лень заморачиваться и писать свой движок, напишите мне в личку телеграм, скину вам информацию о своём готовом решении.