Всем привет. Последние годы я занимаюсь развитием с 0 (в частности, SEO продвижением) своих сайтов-агрегаторов. Я написал достаточно много статей про внутреннюю кухню развития таких сайтов (кому интересно все статьи в моём аккаунте vc.ru)
В данной статье на примере одного из своих агрегаторов msk.gde-mrt.ru (ниша - запись на МРТ и КТ), хотел показать, как я решал проблему так называемых малоинтересных страниц.
Всем, кто занимается сайтами-агрегаторами, либо похожими по структуре сайтами, может быть полезно.
Малоинтересные страницы
В документации яндекса ( ссылка ) можно увидеть, что сам Яндекс выделяет Малоценные И маловостребованные страницы.
Малоценная страница - страница может быть признана малоценной, если она является дублем или не содержит видимый роботу контент.
Маловостребованная - Робот Яндекса проверяет, насколько востребован контент страницы пользователями. Алгоритм оценивает каждую страницу, будет ли она показана по запросам на тех позициях, где пользователь сможет ее найти. Если страница без ошибок в HTML-коде, содержит контент, но в поиске нет пользователей и запросов, на которые она могла бы ответить, страница может быть исключена из поиска как маловостребованная.
В моём эксперименте меня интересовали именно Маловостребованные страницы. Проблема малоценных страниц решается через уникализацию контента, это отдельная история.
Почему вообще стоит решать эту проблему? Ответ прост:
Поисковики понижают общий рейтинг сайта за большое кол-во малоценных и маловостребованных страниц. Подробно про это писал другой автор в статье .
Итак, другими словами, маловостребованные страницы - это страницы, Семантическое ядро которых, равно нулю.
Может быть, вы удивитесь, но на сайтах агрегаторах таких страниц очень много. Забегая вперёд, на моём агрегаторе МРТ таких страниц было 88%, около 44 000 страниц). Почему так получается?
Всё достаточно просто.
Фундамент(ядро) сайта-агрегатора - это формирование страниц по шаблону через пересечение фильтров. Покажу на примере одного из своих агрегаторов https://msk.gde-mrt.ru/
Перед вами пример страницы листинга ( это типовая страница ) https://msk.gde-mrt.ru/mrt/ на которой выводятся все клиники, в которых можно сделать МРТ в Москве.
Title H1 текст и Description данной страницы создаются на базе шаблона, который прописывается в админке сайта один раз.
Таких уникальных страниц формируется тысячи и даже десятки тысяч. Каждый новый выбранный фильтр формирует новую уникальную для поискового робота страницу.
Например, я выбрал 2 фильтра и получил новую страницу https://msk.gde-mrt.ru/mrt/mrt-golovnogo-mozga/aviamotornaya/ с уникальными метаданными и уникальными объектами ( в моём случае это клиники)
При таком пересечение возникает одна глобальная проблема. Опять же посмотрим на примере моего конкретного агрегатора. У меня в карте сайта было около 50 000 страниц таких пересечений.
Назревает справедливый вопрос. А зачем вообще делать фильтр, если запросов под такую страницу нет?
Опять же покажу на примере. Посмотрим Скрин СЯ, отфильтрованный по метро Жулебино (метро - это фильтр, как вы помните)
По запросу МРТ желибно есть частотности, а вот, например, по запросу мрт печени жулебино запросов нет, частотности всех типов = 0.
Т.е. мы не можем просто “в лоб” убрать метро Жулебино, мы должны оставить только некоторые пересечения.
Задача была - оставить все эти фильтры на фронте, при этом удалить все страницы, которые не ищут. Прежде чем ниже опишу, каким элегантным решением мы закрыли эту проблему, покажу сколько конкретно на моём агрегаторе МРТ центров было таких страниц без частотностей:
88% из 50000 страниц не имели никакой частотности. На выходе, после решения данной проблемы, осталось чуть больше 6000 страниц.
Суть решения:
Каждый фильтр у меня настраивается в разделе Категории. Т.е. Метро Жулебино - это дочерняя категория Материнской Категории Метро. В админке нужно зайти в категорию метро Жулебино и проставить в специальной настройке только те категории, пересечения с которыми мы хотим оставить.
В скрине выше мы видим, что стоит галочка напротив МРТ, поэтому у нас есть полноценная страница https://msk.gde-mrt.ru/mrt/zhulebino/
А вот напротив МРТ печени галочки нет, и вуаля, мы получаем страницу https://msk.gde-mrt.ru/mrt/mrt-pecheni/?or[]=zhulebino
И для таких страниц мы в коде закрываем индексацию
У моего контент-менеджера заняло 2 дня руками проставить настройки для всех фильтров. В целом не критично. Рекомендую раз в период ( думаю раз в 3-5 месяцев вполне достаточно), перепроверять частотности и оживлять страницы, у которых появилась частотность).
Примерно ту же информацию я оформлял в видео формате, кому удобнее смотреть, чем читать
*****
Больше полезной информации про сайты агрегаторы я пишу в своём телеграмм канале Про сайты агрегаторы.
Также я написал движок для агрегатора услуг. Если вам лень заморачиваться и писать свой движок, напишите мне в личку телеграм, скину вам информацию о своём готовом решении.
88% твоего контента в телеге это тупо продажа движка, минусую.
Кхм.
Ну вот деиндексировали вы страницы под МПК, вместо того, чтобы вывести из под фильтра - легче стало? Каковы результаты? Откуда вообще взялась идея деиндексации? Зачем вообще надо было изначально раскрывать фильтры?
А ведь можно было пф крутануть по страницам мпк,сгенерить текстовые описания по шаблону, и совсем скоро большая часть из них залетит в индекс. Но там самого по себе мусора очень много в фильтрах, будет канибализация и проблемы с ранжем.
Ну вот и я про это. Чисто ботами можно из под МПК вывести на минимуме визитов, но если проблемы есть помимо посещений URL - всё равно вылетит. Но тут уже надо конкретно семантику и спрос оценивать
Пока это просто эксперимент. Посмотрим. Ещё раз, в https://vc.ru/u/860617-artem-bolotov/363517-malocennaya-ili-malovostrebovannaya-stranica-kak-ispravit описано, что Яндекс пессимизирует сайт в целом за большое кол-во МПК, а в моём случае их было 88%, или 44 000 страниц.
Что имеете ввиду - вместо того, чтобы вывести из под фильтра?
Тут перепутаны причины и следствия. Под МПК влетают страницы, которые Яндекс не в состоянии оценить по причине отсутствия трафика. Нет трафа - нет ПФ, значит, страница малоценная и никому неинтересная. А откуда взяться трафику, если нет топов?
Не хочу учить плохому, но дайте траф-то на странички. Много не надо. Ну, и явные нулячки стоит деиндексировать, тут надо СЯ смотреть внимательно.
Погодите, ещё раз. Если у запроса МРТ печени Мытищи ( условно ) частотсности все 0 (даже самая общая), причём тут трафик? это нам говорит, что с большой долей вероятности, такую страницу просто не ищут. И таких страниц много. И мы их делаем просто страницами, которые человек физически может выбрать в фильтре, но в индекс мы их закрываем.
В любом случае, посмотрим. Это больше опционная настройка. Я на этом агрегаторе тестирую. Может решение и не стоит свеч, будем смотреть)
Вы частотку как оценивали? В "Вордстат" смотреть не стоит, оценивайте хоть по Директу - и за год. Не может кластер быть нулячим - в Мытищах тоже живут люди, которым нужно МРТ печени.
Плюс есть ещё Гугл. Понятно, что частотка будет малой, но не факт, что страницу нужно вот так запросто выкидывать из индекса насовсем.
В вашем случае речь только о том, что на страничку вообще нет никакого трафика, Яндексу нечего оценивать. Ему всё равно, откуда траф - внутренний тоже годится.
не все страницы с частотностью 0 будут под мпк, просто не нужно плодить дублей и ненужных страниц, которые реально никому не нужны никогда вообще
спасибо за классную статью
В любом случае интересно посмотреть результаты эксперимента. НЧ запросы они же могут не быть сейчас в вордстате, а потом кто-то да и будет искать. Как вариант страницы оставить и пойти в обратном направлении увеличив массу страниц с различными фильтрами.
Ну вот да. Плюс есть ещё Гугл с его любовью к топонимам и логарифмическими частотками по ключам. Понятно, что там околонулевки, но сносить потенциально полезный контент только потому, что Яша закинул что-то под МПК (а причин могут быть десятки) - что-то как-то не это.
Посмотрим, Виктор. Не говорю, что решение 100%. Пока я вижу в целом (как гипотеза) проблему очень большого кол-ва МПК. Всегда в моём движке можно изменить эту настройку и страницы опять появятся. Т.е. это легко настраивается.
Так решение-то - чего? Вы уверены, что сайт влетел под хостовый фильтр?
Проблема с МПК характерна для фактически всех новых агрегаторов
Я же нигде не писал, что сайт под фильтром. Я под словом пессимизация подразумевал - понижение общего рейтинга. Фильтров у сайта нет.
Более того я консультировался с владельцами других агрегаторов и много кто убирает такие страницы без запросов.
Так это и есть фильтр. Если хост в принципе на всём объёме имеет мало посещений - фильтруется. Об этом в "Вебмастере" ничего писать не будут, это не наказание. У вас в топах что-то есть?
Руслан, привет. Тут основное ядро, что у мен 44 000 страниц (88%) от всех страниц имеют СЯ састотностью 0. Есть гипотеза ( на базе вот этой статьи https://vc.ru/u/860617-artem-bolotov/363517-malocennaya-ili-malovostrebovannaya-stranica-kak-ispravit что яндекс за это наказывает. Ну и в целом ,а зачем эти страницы в таком объёме, если их никто не ищет? Плюс идёт нагрузка на робота, что тоже не любит Яндекс.
Ну такое эта статья, очень много автор нафантазировал.
посмотрим, Максим. Время покажет. Пока это просто проверка гипотезы.
Спасибо за статью. Понимаю о чем пишут Виктор и Артём, но очень интересно будет посмотреть результат ваших действий. Наверно стоило сначала дождаться результата, а потом уже выкладывать статью - так это было бы полноценное исследование. А теперь придется подписаться на вас, чтобы не пропустить продолжение)
Да тут вилами по воде получится в любом случае - если не учитывать в расчётах десятки параметров. А это даже у Яндекса не получается по причине кривости самой идеи. Посчитал ПФ, подкинул вверх. пересчитал текстовые, почесал репу - и подвинул вниз. А потом обновил хостовые за период - и аккуратно убрал за топ-100.
Мусору, конечно, на сайте не место, но записывать в мусор только потому, что Яше на время привиделась "малая популярность" - это перебор.
Прекрасно вас понимаю. Но все же интересен будет конечный эффект на практике. А вдруг чего и получится? Понимаю, что сейчас это всего лишь гипотеза, но если гипотезы не проверять, то они так и останутся гипотезами)
Привет! Тема, конечно, очень интересная. У меня очень много таких малополезных страниц. Примерно 80%. Яндекс тоже их то добавляет, то удаляет из индекса.
Если думать про краулинговый бюджет, то для моего агрегатора норма индексировать страницу за 1-3 дня. МПК пока не влияет и значит можно создавать ещё страницы.
Есть устоявшийся термин "зомби-страницы", можно по нему погуглить, найдется еще кейсов и разного интересного.
Этот термин из буржа эпохи Google Fred. К нынешним алгоритмам и Яндексу в частности отношение имеет очень отдалённое, хотя людям головы забивает наотличненько.
Спасибо, погуглю!
Ваше право. Если внимательнее почитаете канал там очень много бесплатной полезной информации. Так же можете изучить мой ютюб канал https://www.youtube.com/channel/UC5PlylV_IZEBQzAKlBNnmHQ Есть подкасты с гостями, которые делали агрегаторы и рассказывали про свой опыт, если мои наработки.
Движок тоже продаётся плавно, но это точно не 88%)
В целом интересно было вообще почитать про подобную тему узконишевых агрегаторов, я и сам в свое время накидал себе тематики для подобных сайтов где парсишь данные и генеришь из них кучу страниц на разные город и тп. Так и не занялся этим.
я много пишу в своём канале про агрегаторы. Запрыгивайте https://t.me/agregatorss
спасибо
Эм. Ну закрыл ты 88% страниц от индексации. И... что?
Посмотрим, пока просто эксперимент. Отталкиваюсь от рекомендаций самого Яндекса. Плюс я в начале статьи приводил статью https://vc.ru/u/860617-artem-bolotov/363517-malocennaya-ili-malovostrebovannaya-stranica-kak-ispravit Где описывается, что Яндекс пессимизирует сайте за большое кол-во МПК, а в моём случае это 44 000 страниц.
Интересный материал. Тема статьи не очень, а управление категориями для сайта агрегатора от вас бы послушал.
Взять 1 проект, разобрать приоритетность категорий. Какие усилия на приоритетные категории, какие на второстепенные, выводы о бесполезных категорияй (как в этой статье)
Юрий, приветствую!
На своих проектах применяю такой же подход, без накруток (считаю это "костылями-времянками").
Тема 100% рабочая!
Круто! Спасибо, Всеволод, что поделился! Надеюсь и у меня сработает!