{"id":4879,"title":"\u0427\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043f\u0435\u0442\u044c, \u043f\u043e\u043a\u0430 \u0432\u044b \u0447\u0438\u0442\u0430\u0435\u0442\u0435 \u044d\u0442\u0443 \u0441\u0442\u0430\u0442\u044c\u044e","url":"\/redirect?component=advertising&id=4879&url=https:\/\/vc.ru\/otpbank\/266952&hash=82572a4a372a00657a2afc359f19a24c0bd24be8cecbd743f0681209c07c9a3a","isPaidAndBannersEnabled":false}
SEO
Aik Music

Про пагинацию в SEO продвижении агрегаторов. «Пьяный» поисковый робот Яндекса

Приветствую, друзья!
Сегодня небольшой пост про правильную работу с пагинацией в агрегаторах.

Как вы уже знаете, я занимаюсь разработкой и продвижением GuruHelp — агрегатора сервисных центров с адресами, ценами и отзывами.

Для тех, кому незнакомо слово пагинация — это разделение большого объема контента на страницы (от английского page — страница). Пример можете видеть на скриншоте снизу.

Пример пагинации Айк Давтян

Логика поисковых систем следующая: они на вход получают sitemap — карту сайта и используют её как рекомендацию к обходу роботом страниц для анализа контента. Карта сайта (sitemap) — это специальным образом созданная техническая XML страница, в которой перечисляются все необходимые с вашей точки зрения ссылки для индексации (процесс обхода поисковыми роботами сайта, анализ их содержимого и включения в поиск по ключевым словам для этой страницы).

sitemap

Так как Sitemap носит рекомендательный характер для ПС (поисковая система), то робот последовательно обходит все страницы и далее все страницы на которые есть ссылка на текущей, то есть полностью перебирает весь сайт. Поэтому очень важно при проектировании любого сайта изначально для себя набросать структуру, чтобы не создавались дубли страниц, не создавались «мусорные» малоинформативные страницы.

Вернёмся к нашим баранам, а точнее к страницам пагинации.Пример: основная страница(раздел) имеет url адрес: https://ghelp.ru/remont-telefonov/,а страница 2 имеет адрес соответственно https://ghelp.ru/remont-telefonov/?page=2 и так далее, пока не переберутся все страницы этого раздела.

Перед всеми специалистами встаёт вопрос, а какая страница попадёт в поиск?

Ниже приведу небольшую выдержку из официального блога Яндекса на этот счет.

Что делать со страницами пагинации и сортировки товаров?

Если в какой-либо категории на вашем сайте находится большое количество товаров, могут появиться страницы пагинации (порядковой нумерации страниц), на которых собраны все товары данной категории. Если на такие страницы нет трафика из поисковых систем и их контент во многом идентичен, то советую настраивать атрибут rel="canonical" тега <link> на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска.

Вторая часть вопроса связана со страницами сортировки, например, по цене, популярности или характеристикам. Чтобы разобраться с этой частью, необходимо понять, нужны ли такие страницы в результатах поиска, отвечают ли они в полной мере на запросы пользователей. Если страницы не отвечают на запросы пользователей поисковой системы, их лучше закрыть с помощью соответствующих правил в Вашем robots.txt, оставив для посещения роботом только действительно необходимые страницы.

Поддержка яндекса

То есть, если вы такие наивные доверились официальной позиции Яндекса и не закрыли от индексации страницы пагинации, а лишь использовали атрибут rel="canonical" тега <link> , который устанавливается на всех страницах и указывает основную, то есть в нашем случае данный тег стоит на все страницах категории и указывает на основную.

Советы разных специалистов разнятся, кто-то говорит, что такие страницы нужно закрывать от индексации путем прописывания, кто-то говорит, что ничего не нужно делать и достаточно указать каноническую ссылку на основную страницу категории, как в примере выше, то есть фактически это позиция самого Яндекса.

Мы в своё время изучив много рекомендаций от ведущих экспертов в продвижении, прочитав много мануалов от поисковых систем решили, что не будем закрывать страницы пагинации от поисковика, пусть индексирует мы же указали основную ссылку, которую хотим видеть в поиске.

Но, ВНИМАНИЕ! На днях начал замечать следующее: в поиск начали попадать страницы массово с пагинацией.

Я просто схватился за голову, но как же так? Мы же так не договаривались #яндекс Что ты такое творишь? В поиске мы ждем страницу основную https://ghelp.ru/apple/iphone/iphone-11 , а не https://ghelp.ru/apple/iphone/iphone-11/?page=37

Ради справедливости отмечу, что и основная страница в поиске. Однако, специфика агрегатора состоит в том, что доход от его деятельности в основном получается от платного ранжирования сервисов, то есть на первых местах ты показываешь частично, проплаченные сервисные центры, то есть для тебя важно, чтобы страница входа была первая страница.К тому же, если не совершить быстрых и экстренных действий, то есть высокий шанс в дальнейшем нарваться на «дубли» страниц и вообще вылететь из поиска с этими страницами.

основная страница тоже в поиске якобы

Я решил все-таки обратиться в службу поддержки Яндекса со своим ФИ и разузнать что за «пьяное» поведение робота Яндекса.

Ответ службы поддержки яндекса

Ответ говорит сам за себя. Но как раз суть в том, что страницы не очень различаются, так как на страницах общие теги, а лишь разные сервисы выводятся на разных страницах, к тому же у нас реализована система fairplay, согласно которой сервисы между собой ранжируются согласно тарифным в случайном порядке, чтобы у всех были одинаковые условия игры внутри каталога.

В ответ я поинтересовался, какой путь предстоит после закрытия таких страниц от индекса. Ответ неутешительный — несколько недель.

Опять же — это потерянное время и нервы!

Вот такая вот подлянка от «пьяного» робота Яндекса. Кстати, чаще всего в индекс начали попадать последние страницы пагинации, то есть если в разделе у тебя 40 страниц, то чаще всего попадает именно 40 страница — случайность? Не думаю. Всё-таки это ошибка робота. Ну а Яндекс что, Яндекс- самоизолировался :)) ?

p.s. Совет всем — закрывайте страницы пагинации от индексации кто бы вам что ни говорил.

{ "author_name": "Aik Music", "author_type": "self", "tags": ["\u044f\u043d\u0434\u0435\u043a\u0441"], "comments": 5, "likes": 1, "favorites": 11, "is_advertisement": false, "subsite_label": "seo", "id": 126196, "is_wide": true, "is_ugc": true, "date": "Mon, 11 May 2020 07:39:57 +0300", "is_special": false }
0
5 комментариев
Популярные
По порядку
0

Прошу рассказать о своем опыте в данном вопросе. 

Ответить
0

Палка с двух концов , иногда бывает так , что поисковик показывает 2-3 100 страницу , по причине что именно эта отвечает полностью на вопрос, клиента. Дать однозначный ответ , сложно, если закрыть, то не будет в категории больше 30 товаров. И сложно будет воевать, с крупными площадками. Думаю всегда, все индивидуально, но для этого и есть тесты.

Ответить
0

Спасибо за ответ. А подскажите, на 2-3 100 странице у вас одинаковые метатеги title и description?  И когда выходит 2-3 страница, основная тоже имеет нормальные позиции и вообще присутствует в поиске?
То есть когда атрибут noindex,follow вы считаете, что он не учитывает содержимое страниц 2.3..100 при формировании выдачи? 

Да, это индивидуально. Например, для интернет магазинов в этом есть смысл. Я написал сугубо про агрегаторы.  Сайты типа ozon используют бесконечную прокрутку как вариант.

Хотелось бы понять какие у людей есть реальные примеры, сталкивались ли, как дальше шел процесс индексации

Ответить
0

Яндексу не нужны тупо листинги. Яндексу нужны хабы. И никакой идиот не будет ковыряться на страницах пагинации, для выбора воспользуются фильтрами, сортировками, тегами, подборками. А вот если их нет – будет бесконечная переклейка запроса со страницы на страницу. А уж если там ещё и текст на основной странице категории - так и вовсе забавно.
Пару месяцев назад экспериментировал. Убрал текст - переклеило на основную страницу. Вернул  текст - опять третья, пятая, какая угодно страница. Потому что текст - спамный и нафиг не нужный.
Моя идея: закрывать в noindex метатегом. Люди найдут, роботам - не надо.
Контрреволюция одна

Ответить
0

Спасибо за ответ, Виктор.
Именно к этому я и призываю.
Про фильтры согласен.

Ответить
Читать все 5 комментариев
Я искал удобный способ записывать тренировки, а в итоге создал SaaS для тренеров

В статье расскажу о проблемах с мотивацией для тренировок, какие бизнес-модели мы пробовали и зачем мы идем в Испанию. В конце статьи приятный бонус для читателей VC.ru.

Пепельница почти за $3000 и коробок спичек за $435: Good Art HLYWD продаёт очень дорогие аксессуары — и их покупают Статьи редакции

Джош Уорнер создаёт всю продукцию вручную, устанавливает высокие цены и уверен, что «зажигалка за тысячу долларов — абсурд, но радость от её роскоши — то, чем можно наслаждаться».

Джош Уорнер Heddels
Миллениалы предпочитают World of Tanks и Minecraft: Yota составила рейтинг популярных онлайн-игр

Летом пользователи Yota стали больше играть в онлайн-игры, трафик в данной категории вырос почти в два раза на смартфонах, планшетах и модемах в июне и июле по сравнению с двумя месяцами ранее.

Microsoft запустила Windows 365 — «облачную» ОС для бизнеса по цене от 2 тысяч рублей на пользователя в месяц Статьи редакции

Можно выбрать и свои настройки — тогда подписка обойдётся в 1350 рублей в месяц на человека за минимальные характеристики.

Finlanding: окно в Европу для бизнеса
3 проблемы планирования производства, которые мешают вашей компании превзойти ожидания клиентов
Evrone News #07: тренды QA и open source

Сегодня в традиционной подборке рассказываем об удачных open source решениях нашей команды: архивном monkey patch и шаблоне чистой архитектуры на Go, а также анализируем тренды 2021 года в QA и тестировании.

ЦБ запланировал добавить в «Яндекс.Карты» точки доступа к финансовым услугам Статьи редакции

Сейчас в «Картах» есть информация о банкоматах и банках, но сведения от ЦБ будут официальными.

Акции Tencent и NetEase упали на 10% после сравнения игр с наркотиками в китайских государственных СМИ Статьи редакции

Инвесторы опасаются, что ограничения китайских регуляторов распространятся и на игровой рынок.

Как мы решили комплексные проблемы склада Lamoda всего одним приложением

Мы расскажем, зачем разработчики добивались максимально быстрого отклика приложения и чем заменили отвлекающие визуальные оповещения. А также почему мы планируем сделать систему полностью автономной и работающей оффлайн, несмотря на то, что на складе сотни роутеров.

Склад Lamoda
null