Про пагинацию в SEO продвижении агрегаторов. «Пьяный» поисковый робот Яндекса

Приветствую, друзья!
Сегодня небольшой пост про правильную работу с пагинацией в агрегаторах.

Как вы уже знаете, я занимаюсь разработкой и продвижением GuruHelp — агрегатора сервисных центров с адресами, ценами и отзывами.

Для тех, кому незнакомо слово пагинация — это разделение большого объема контента на страницы (от английского page — страница). Пример можете видеть на скриншоте снизу.

Логика поисковых систем следующая: они на вход получают sitemap — карту сайта и используют её как рекомендацию к обходу роботом страниц для анализа контента. Карта сайта (sitemap) — это специальным образом созданная техническая XML страница, в которой перечисляются все необходимые с вашей точки зрения ссылки для индексации (процесс обхода поисковыми роботами сайта, анализ их содержимого и включения в поиск по ключевым словам для этой страницы).

Так как Sitemap носит рекомендательный характер для ПС (поисковая система), то робот последовательно обходит все страницы и далее все страницы на которые есть ссылка на текущей, то есть полностью перебирает весь сайт. Поэтому очень важно при проектировании любого сайта изначально для себя набросать структуру, чтобы не создавались дубли страниц, не создавались «мусорные» малоинформативные страницы.

Вернёмся к нашим баранам, а точнее к страницам пагинации.Пример: основная страница(раздел) имеет url адрес: https://ghelp.ru/remont-telefonov/,а страница 2 имеет адрес соответственно https://ghelp.ru/remont-telefonov/?page=2 и так далее, пока не переберутся все страницы этого раздела.

Перед всеми специалистами встаёт вопрос, а какая страница попадёт в поиск?

Ниже приведу небольшую выдержку из официального блога Яндекса на этот счет.

То есть, если вы такие наивные доверились официальной позиции Яндекса и не закрыли от индексации страницы пагинации, а лишь использовали атрибут rel="canonical" тега <link> , который устанавливается на всех страницах и указывает основную, то есть в нашем случае данный тег стоит на все страницах категории и указывает на основную.

Советы разных специалистов разнятся, кто-то говорит, что такие страницы нужно закрывать от индексации путем прописывания, кто-то говорит, что ничего не нужно делать и достаточно указать каноническую ссылку на основную страницу категории, как в примере выше, то есть фактически это позиция самого Яндекса.

Мы в своё время изучив много рекомендаций от ведущих экспертов в продвижении, прочитав много мануалов от поисковых систем решили, что не будем закрывать страницы пагинации от поисковика, пусть индексирует мы же указали основную ссылку, которую хотим видеть в поиске.

Но, ВНИМАНИЕ! На днях начал замечать следующее: в поиск начали попадать страницы массово с пагинацией.

Я просто схватился за голову, но как же так? Мы же так не договаривались #яндекс Что ты такое творишь? В поиске мы ждем страницу основную https://ghelp.ru/apple/iphone/iphone-11 , а не https://ghelp.ru/apple/iphone/iphone-11/?page=37

Ради справедливости отмечу, что и основная страница в поиске. Однако, специфика агрегатора состоит в том, что доход от его деятельности в основном получается от платного ранжирования сервисов, то есть на первых местах ты показываешь частично, проплаченные сервисные центры, то есть для тебя важно, чтобы страница входа была первая страница.К тому же, если не совершить быстрых и экстренных действий, то есть высокий шанс в дальнейшем нарваться на «дубли» страниц и вообще вылететь из поиска с этими страницами.

Я решил все-таки обратиться в службу поддержки Яндекса со своим ФИ и разузнать что за «пьяное» поведение робота Яндекса.

Ответ говорит сам за себя. Но как раз суть в том, что страницы не очень различаются, так как на страницах общие теги, а лишь разные сервисы выводятся на разных страницах, к тому же у нас реализована система fairplay, согласно которой сервисы между собой ранжируются согласно тарифным в случайном порядке, чтобы у всех были одинаковые условия игры внутри каталога.

В ответ я поинтересовался, какой путь предстоит после закрытия таких страниц от индекса. Ответ неутешительный — несколько недель.

Опять же — это потерянное время и нервы!

Вот такая вот подлянка от «пьяного» робота Яндекса. Кстати, чаще всего в индекс начали попадать последние страницы пагинации, то есть если в разделе у тебя 40 страниц, то чаще всего попадает именно 40 страница — случайность? Не думаю. Всё-таки это ошибка робота. Ну а Яндекс что, Яндекс- самоизолировался :)) ?

p.s. Совет всем — закрывайте страницы пагинации от индексации кто бы вам что ни говорил.