Приветствую, друзья!
Сегодня небольшой пост про правильную работу с пагинацией в агрегаторах.
Как вы уже знаете, я занимаюсь разработкой и продвижением GuruHelp — агрегатора сервисных центров с адресами, ценами и отзывами.
Для тех, кому незнакомо слово пагинация — это разделение большого объема контента на страницы (от английского page — страница). Пример можете видеть на скриншоте снизу.
Логика поисковых систем следующая: они на вход получают sitemap — карту сайта и используют её как рекомендацию к обходу роботом страниц для анализа контента. Карта сайта (sitemap) — это специальным образом созданная техническая XML страница, в которой перечисляются все необходимые с вашей точки зрения ссылки для индексации (процесс обхода поисковыми роботами сайта, анализ их содержимого и включения в поиск по ключевым словам для этой страницы).
Так как Sitemap носит рекомендательный характер для ПС (поисковая система), то робот последовательно обходит все страницы и далее все страницы на которые есть ссылка на текущей, то есть полностью перебирает весь сайт. Поэтому очень важно при проектировании любого сайта изначально для себя набросать структуру, чтобы не создавались дубли страниц, не создавались «мусорные» малоинформативные страницы.
Вернёмся к нашим баранам, а точнее к страницам пагинации.Пример: основная страница(раздел) имеет url адрес: https://ghelp.ru/remont-telefonov/,а страница 2 имеет адрес соответственно https://ghelp.ru/remont-telefonov/?page=2 и так далее, пока не переберутся все страницы этого раздела.
Перед всеми специалистами встаёт вопрос, а какая страница попадёт в поиск?
Ниже приведу небольшую выдержку из официального блога Яндекса на этот счет.
Что делать со страницами пагинации и сортировки товаров?
Если в какой-либо категории на вашем сайте находится большое количество товаров, могут появиться страницы пагинации (порядковой нумерации страниц), на которых собраны все товары данной категории. Если на такие страницы нет трафика из поисковых систем и их контент во многом идентичен, то советую настраивать атрибут rel="canonical" тега <link> на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска.
Вторая часть вопроса связана со страницами сортировки, например, по цене, популярности или характеристикам. Чтобы разобраться с этой частью, необходимо понять, нужны ли такие страницы в результатах поиска, отвечают ли они в полной мере на запросы пользователей. Если страницы не отвечают на запросы пользователей поисковой системы, их лучше закрыть с помощью соответствующих правил в Вашем robots.txt, оставив для посещения роботом только действительно необходимые страницы.
То есть, если вы такие наивные доверились официальной позиции Яндекса и не закрыли от индексации страницы пагинации, а лишь использовали атрибут rel="canonical" тега <link> , который устанавливается на всех страницах и указывает основную, то есть в нашем случае данный тег стоит на все страницах категории и указывает на основную.
Советы разных специалистов разнятся, кто-то говорит, что такие страницы нужно закрывать от индексации путем прописывания, кто-то говорит, что ничего не нужно делать и достаточно указать каноническую ссылку на основную страницу категории, как в примере выше, то есть фактически это позиция самого Яндекса.
Мы в своё время изучив много рекомендаций от ведущих экспертов в продвижении, прочитав много мануалов от поисковых систем решили, что не будем закрывать страницы пагинации от поисковика, пусть индексирует мы же указали основную ссылку, которую хотим видеть в поиске.
Но, ВНИМАНИЕ! На днях начал замечать следующее: в поиск начали попадать страницы массово с пагинацией.
Я просто схватился за голову, но как же так? Мы же так не договаривались #яндекс Что ты такое творишь? В поиске мы ждем страницу основную https://ghelp.ru/apple/iphone/iphone-11 , а не https://ghelp.ru/apple/iphone/iphone-11/?page=37
Ради справедливости отмечу, что и основная страница в поиске. Однако, специфика агрегатора состоит в том, что доход от его деятельности в основном получается от платного ранжирования сервисов, то есть на первых местах ты показываешь частично, проплаченные сервисные центры, то есть для тебя важно, чтобы страница входа была первая страница.К тому же, если не совершить быстрых и экстренных действий, то есть высокий шанс в дальнейшем нарваться на «дубли» страниц и вообще вылететь из поиска с этими страницами.
Я решил все-таки обратиться в службу поддержки Яндекса со своим ФИ и разузнать что за «пьяное» поведение робота Яндекса.
Ответ говорит сам за себя. Но как раз суть в том, что страницы не очень различаются, так как на страницах общие теги, а лишь разные сервисы выводятся на разных страницах, к тому же у нас реализована система fairplay, согласно которой сервисы между собой ранжируются согласно тарифным в случайном порядке, чтобы у всех были одинаковые условия игры внутри каталога.
В ответ я поинтересовался, какой путь предстоит после закрытия таких страниц от индекса. Ответ неутешительный — несколько недель.
Опять же — это потерянное время и нервы!
Вот такая вот подлянка от «пьяного» робота Яндекса. Кстати, чаще всего в индекс начали попадать последние страницы пагинации, то есть если в разделе у тебя 40 страниц, то чаще всего попадает именно 40 страница — случайность? Не думаю. Всё-таки это ошибка робота. Ну а Яндекс что, Яндекс- самоизолировался :)) ?
p.s. Совет всем — закрывайте страницы пагинации от индексации кто бы вам что ни говорил.
Прошу рассказать о своем опыте в данном вопросе.
Палка с двух концов , иногда бывает так , что поисковик показывает 2-3 100 страницу , по причине что именно эта отвечает полностью на вопрос, клиента. Дать однозначный ответ , сложно, если закрыть, то не будет в категории больше 30 товаров. И сложно будет воевать, с крупными площадками. Думаю всегда, все индивидуально, но для этого и есть тесты.
Спасибо за ответ. А подскажите, на 2-3 100 странице у вас одинаковые метатеги title и description? И когда выходит 2-3 страница, основная тоже имеет нормальные позиции и вообще присутствует в поиске?
То есть когда атрибут noindex,follow вы считаете, что он не учитывает содержимое страниц 2.3..100 при формировании выдачи?
Да, это индивидуально. Например, для интернет магазинов в этом есть смысл. Я написал сугубо про агрегаторы. Сайты типа ozon используют бесконечную прокрутку как вариант.
Хотелось бы понять какие у людей есть реальные примеры, сталкивались ли, как дальше шел процесс индексации
Яндексу не нужны тупо листинги. Яндексу нужны хабы. И никакой идиот не будет ковыряться на страницах пагинации, для выбора воспользуются фильтрами, сортировками, тегами, подборками. А вот если их нет – будет бесконечная переклейка запроса со страницы на страницу. А уж если там ещё и текст на основной странице категории - так и вовсе забавно.
Пару месяцев назад экспериментировал. Убрал текст - переклеило на основную страницу. Вернул текст - опять третья, пятая, какая угодно страница. Потому что текст - спамный и нафиг не нужный.
Моя идея: закрывать в noindex метатегом. Люди найдут, роботам - не надо.
Контрреволюция одна
Спасибо за ответ, Виктор.
Именно к этому я и призываю.
Про фильтры согласен.