Бывает, смотришь на сайт и вроде все прекрасно: базовая оптимизация проведена, метатеги прописаны, сайт удобный и адаптивный. Даже микроразметку сделали и УТП составили. Но не лезет он в топ по нужным запросам, как его не толкают. Крутится на втором-третьем десятке как заколдованный.
Тогда я проверяю сайт на самую распространенную и досадную ошибку – дублирование страниц. Эта проблема есть практически у всех проверяемых мной сайтов. Ее нельзя проверить автоматическими онлайн-чекерами – они не анализируют структуру сайта, поэтому эта ошибка не попадает в поле зрения новичков.
Как проверить вручную на дублирование
Очень просто. Выбираете несколько самых важных для вас запросов и вводите их в поисковой строке в таком виде: "ключевой запрос site:moisait.ru".
Вот как выглядят дублирующиеся страницы по запросу "Уборка квартир в Москве" у сайта aclean.ru
Очень грубая ошибка – главная страница имеет сразу 3 копии.
https://www.aclean.ru
https://aclean.ru
https://aclean.ru/?present=Y
Под этот же запрос оптимизирована еще и страница "О компании".
В итоге сайт находится вне топ-10
Такая же картина у сайта qlean.ru
В итоге позиции тоже вне топ-10.
А вот результат проверки на дублирующие страницы по этому же запросу топового сайта. Здесь дублей нет.
"Влажная уборка" и "генеральная уборка" хоть и похожи, но это явно другие запросы, по которым человек ищет уже конкретную услугу, а не общую фразу.
И так надо проверить все основные запросы на предмет дублирования. Есть программы "пауки", которые парсят весь сайт и дают возможность проанализировать сразу все дубли сайта.
Почему эта ошибка настолько распространена
Даже если изначально все на сайте было сделано хорошо, в процессе жизнедеятельности на нем создаются новые страницы. За семантической структурой никто не следит, и дублируются уже не просто страницы, а целые разделы.
Диагностику сайта почему-то редко проводят, хотя это очень важный этап в продвижении. Недорогая диагностика часто может выявить такие проблемы, устранение которых окупает ее стоимость стократно.
Мы регулярно проводим диагностику авто, организма, газового котла... А вот диагностику сайта почему-то не принято делать.
Поиск дублей это всего лишь один из пунктов проверки сайта на критические ошибки, которые я провожу. На самом деле есть и другие не менее важные проблемы, сильно ухудшающие показатели вашего сайта. Но об этом в следующих статьях.
Просьба автора просветить на счет дублей страниц при пагинации каталога. Критично? Как устранить?
Да критично. Особенно если учесть, что раздел каталога обычно оптимизирован под важные средне- и высокочастотные запросы.
Самый простой (но не лучший) способ закрыть в robots.txt все кроме основной. Например вот так:
Disallow: /page/* или Disallow: /*/?page= (как у вас это реализовано я не знаю)
Правильнее прописать rel=canonical для всех дублирующихся страниц с указанием основной. Этот вариант лучше.
Самый крутой вариант это вообще отсутствие пагинации, как на vc например.
Тогда все записи на одной странице просто подгружаются бесконечно. Это делают при помощи яваскрипт фреймворков. Тогда и поведенческие сохраняются. Это конечно идеал, но надо весь сайт переделывать, что недешево.
Подскажите, а если на странице категории нету каноникала, но есть уникализация тайтла, мета, h1 для страниц пагинации. В индексе есть страницы вида, к примеру, жёлтый слон, жёлтый слон страница 1, жёлтый слон страница 2. Это не дубли, но не будет ли проблем с каннибализацией?
По запросу "желтый слон" будут дубли. Тайтл то по сути одинаковый. Контент тоже почти идентичный. Надо или в robots.txt закрывать или каноникал прописывать.
Спасибо за оперативный ответ. Но контент не идентичный на страницах пагинации - там свои листинг товаров, который полезен для посетителей.
Хорошо, давайте конкретней запрос: мобильные телефоны Нокиа, к примеру, для него есть тайтл : Купить мобильные телефоны Нокиа в Москве, а для страниц пагинации : Купить мобильные телефоны Нокиа в Москве Страница 1 и т.д.
То есть все равно по запросу Купить мобильные телефоны Нокиа будут страницы конкурировать между собой по семантике?
Вообще в чем ключевая проблема дублей. Когда человек банально вводит запрос "телефон нокия", поисковик должен предложить ему лучший результат. Поскольку непонятно что имел человек ввиду ("нокия красная" или "нокия 3301") то лучшим ответом будет страница где есть все модели нокии. У вас таких страниц 5. Какая из них более релевантна? Поисковик отдаст предпочтение странице у которой все модели на одной странице размещены. Затем странице, на которой не все модели, но есть ссылки на другие. Сайт у которого 5 страниц одновременно претендуют на место в выдаче по запросу "телефон нокия" он будет ранжировать хуже всего. Если вы не смогли выбрать и предоставить роботу самую релевантную запросу страницу почему он должен это делать за вас? В лучшем случае робот будет по очереди предлагать пользователям разные страницы по очереди. В итоге он сам выберет лучшую анализируя поведенческие. Но статистику поведенческих проще и быстрее собрать на одной странице чем на пяти. Плюс есть такое понятие как "краулинговый бюджет". Можности поисковика не бесконечны и он не готов тратить вычислительные ресурсы на ваш сайт. Дубли как раз и тратят этот бюджет и замедляют как индексирование так и скорость продвижения. Робот естественно выберет для топа наиболее оптимизированные страницы без дублей.
Как в таком случае лучше тогда поступить? Каноникал на главную страницу каталога и помаксиму выводить ассортимент на листинге?
Для посетителей можно бесконечную подгрузку товаров сделать. А для робота как в коде реализовать? Можете пример скинуть, если не тяжело.
И ещё, что делать со страницами пагинации, принудительно удалить с индекса и кинуть в мета роботс или x-роботс тег?
Благодарю за ответы!
Конечно идеальный вариант это яваскрипт фреймворк, который будет бесконечно подгружать листинг каталога.
Такой вариант реализован на vc. Здесь нет пагинации. Но это дорого и требует переработки сайта.
Второй вариант. Выводить по максимуму (но не слишком много, чтобы не ухудшить скорость загрузки - это важно!)
На всех страницах раздела разместить link rel="canonical" href="https://domain.ru/mobile/nokia";
Тогда у вас робот в индекс запустит главную страницу раздела. Остальные страницы при этом не будут в выдаче хотя робот будет их посещать. Он будет видеть, что все страницы пагинации имеют один канонический урл.
Закрыть в robots не лучший вариант. Тогда робот будет видеть только одну страницу раздела.
Благодарю, это меня и интересовало.