Бывает, смотришь на сайт и вроде все прекрасно: базовая оптимизация проведена, метатеги прописаны, сайт удобный и адаптивный. Даже микроразметку сделали и УТП составили. Но не лезет он в топ по нужным запросам, как его не толкают. Крутится на втором-третьем десятке как заколдованный.
Тогда я проверяю сайт на самую распространенную и досадную ошибку – дублирование страниц. Эта проблема есть практически у всех проверяемых мной сайтов. Ее нельзя проверить автоматическими онлайн-чекерами – они не анализируют структуру сайта, поэтому эта ошибка не попадает в поле зрения новичков.
Как проверить вручную на дублирование
Очень просто. Выбираете несколько самых важных для вас запросов и вводите их в поисковой строке в таком виде: "ключевой запрос site:moisait.ru".
Вот как выглядят дублирующиеся страницы по запросу "Уборка квартир в Москве" у сайта aclean.ru
Очень грубая ошибка – главная страница имеет сразу 3 копии.
https://www.aclean.ru
https://aclean.ru
https://aclean.ru/?present=Y
Под этот же запрос оптимизирована еще и страница "О компании".
В итоге сайт находится вне топ-10
Такая же картина у сайта qlean.ru
В итоге позиции тоже вне топ-10.
А вот результат проверки на дублирующие страницы по этому же запросу топового сайта. Здесь дублей нет.
"Влажная уборка" и "генеральная уборка" хоть и похожи, но это явно другие запросы, по которым человек ищет уже конкретную услугу, а не общую фразу.
И так надо проверить все основные запросы на предмет дублирования. Есть программы "пауки", которые парсят весь сайт и дают возможность проанализировать сразу все дубли сайта.
Почему эта ошибка настолько распространена
Даже если изначально все на сайте было сделано хорошо, в процессе жизнедеятельности на нем создаются новые страницы. За семантической структурой никто не следит, и дублируются уже не просто страницы, а целые разделы.
Диагностику сайта почему-то редко проводят, хотя это очень важный этап в продвижении. Недорогая диагностика часто может выявить такие проблемы, устранение которых окупает ее стоимость стократно.
Мы регулярно проводим диагностику авто, организма, газового котла... А вот диагностику сайта почему-то не принято делать.
Поиск дублей это всего лишь один из пунктов проверки сайта на критические ошибки, которые я провожу. На самом деле есть и другие не менее важные проблемы, сильно ухудшающие показатели вашего сайта. Но об этом в следующих статьях.
Просьба автора просветить на счет дублей страниц при пагинации каталога. Критично? Как устранить?
Да критично. Особенно если учесть, что раздел каталога обычно оптимизирован под важные средне- и высокочастотные запросы.
Самый простой (но не лучший) способ закрыть в robots.txt все кроме основной. Например вот так:
Disallow: /page/* или Disallow: /*/?page= (как у вас это реализовано я не знаю)
Правильнее прописать rel=canonical для всех дублирующихся страниц с указанием основной. Этот вариант лучше.
Самый крутой вариант это вообще отсутствие пагинации, как на vc например.
Тогда все записи на одной странице просто подгружаются бесконечно. Это делают при помощи яваскрипт фреймворков. Тогда и поведенческие сохраняются. Это конечно идеал, но надо весь сайт переделывать, что недешево.
Подскажите, а если на странице категории нету каноникала, но есть уникализация тайтла, мета, h1 для страниц пагинации. В индексе есть страницы вида, к примеру, жёлтый слон, жёлтый слон страница 1, жёлтый слон страница 2. Это не дубли, но не будет ли проблем с каннибализацией?
По запросу "желтый слон" будут дубли. Тайтл то по сути одинаковый. Контент тоже почти идентичный. Надо или в robots.txt закрывать или каноникал прописывать.
Спасибо за оперативный ответ. Но контент не идентичный на страницах пагинации - там свои листинг товаров, который полезен для посетителей.
Хорошо, давайте конкретней запрос: мобильные телефоны Нокиа, к примеру, для него есть тайтл : Купить мобильные телефоны Нокиа в Москве, а для страниц пагинации : Купить мобильные телефоны Нокиа в Москве Страница 1 и т.д.
То есть все равно по запросу Купить мобильные телефоны Нокиа будут страницы конкурировать между собой по семантике?
Вообще в чем ключевая проблема дублей. Когда человек банально вводит запрос "телефон нокия", поисковик должен предложить ему лучший результат. Поскольку непонятно что имел человек ввиду ("нокия красная" или "нокия 3301") то лучшим ответом будет страница где есть все модели нокии. У вас таких страниц 5. Какая из них более релевантна? Поисковик отдаст предпочтение странице у которой все модели на одной странице размещены. Затем странице, на которой не все модели, но есть ссылки на другие. Сайт у которого 5 страниц одновременно претендуют на место в выдаче по запросу "телефон нокия" он будет ранжировать хуже всего. Если вы не смогли выбрать и предоставить роботу самую релевантную запросу страницу почему он должен это делать за вас? В лучшем случае робот будет по очереди предлагать пользователям разные страницы по очереди. В итоге он сам выберет лучшую анализируя поведенческие. Но статистику поведенческих проще и быстрее собрать на одной странице чем на пяти. Плюс есть такое понятие как "краулинговый бюджет". Можности поисковика не бесконечны и он не готов тратить вычислительные ресурсы на ваш сайт. Дубли как раз и тратят этот бюджет и замедляют как индексирование так и скорость продвижения. Робот естественно выберет для топа наиболее оптимизированные страницы без дублей.
Как в таком случае лучше тогда поступить? Каноникал на главную страницу каталога и помаксиму выводить ассортимент на листинге?
Для посетителей можно бесконечную подгрузку товаров сделать. А для робота как в коде реализовать? Можете пример скинуть, если не тяжело.
И ещё, что делать со страницами пагинации, принудительно удалить с индекса и кинуть в мета роботс или x-роботс тег?
Благодарю за ответы!
Конечно идеальный вариант это яваскрипт фреймворк, который будет бесконечно подгружать листинг каталога.
Такой вариант реализован на vc. Здесь нет пагинации. Но это дорого и требует переработки сайта.
Второй вариант. Выводить по максимуму (но не слишком много, чтобы не ухудшить скорость загрузки - это важно!)
На всех страницах раздела разместить link rel="canonical" href="https://domain.ru/mobile/nokia";
Тогда у вас робот в индекс запустит главную страницу раздела. Остальные страницы при этом не будут в выдаче хотя робот будет их посещать. Он будет видеть, что все страницы пагинации имеют один канонический урл.
Закрыть в robots не лучший вариант. Тогда робот будет видеть только одну страницу раздела.
Благодарю, это меня и интересовало.
Извините. А разве страницы где есть параметр после знака ? должны учитываться поисковиками как самостоятельные. Может это индексироваться, но не влиять на дубли?
Если нет запрета в robots.txt то все индексируется. Есть даже сайты у которых вся навигация построена на GET запросах типа /?p=178 и их индексируют поисковики.
Вопрос был про дубли. Будут ли они считаться как дубли с пессимизацией?
Урл отличается значит дубль. Яндекс может выбросить на свое усмотрение любые из индекса и оставить одну. Гугл может воспринять как попытку манипулированием выдачей и пессимизировать.
В вордпрессе автоматом указывается канонический урл для всех таких страниц поэтому на нем дубли автоматом не создаются. На Битриксе все хуже. Вот например
http://tso174.ru/objects/index.php
http://tso174.ru/objects/
не, ну такой редирект-то обязан быть на сайте с самого рождения.Странно, что у вас так отрабатывает...
Это проблема Битрикса. Вордпресс на такое даже не проверяю. Там все уже в движке. Битрикс надо допиливать)
Урл конечно отличается, но и контент так же отличается. Будут ли они считаться как дубли с пессимизацией?
Если содержание и урл разные то это не дубли. Главное еще чтобы тайтлы и h1 отличались. Тогда это однозначно разные страницы.
Тайтлы и мета не отличаются не отличаются. Будет пессимизация. Как узнать?
Грубо говоря тайтл это вывеска. Если вы на две страницы вешаете одинаковый тайтл то вы на одну беговую дорожку ставите двух своих бегунов. В итоге они будут мешать друг другу. Если содержание разное просто перепишите тайтлы.
Просьба ответить на вопрос в ракурсе пагинации на сайте. Будет пессимизация. Как узнать?
Санкций за дубли нет. Сайт просто будет понижен в выдаче (по сути поисковик это сплошной фильтр, все сайты не на топ1 отфильтрованы). За что сайт понижен точно никто не скажет - надо просто смотреть какие важные ошибки на сайте и исправлять их.
Просьба уточнить. Понижен весь сайт или страницы дубли?
И главное. Если убрать этот дубль. Сайт вернется?
Такие технические дубли решаются простым добавлением метатега rel="canonical". Здесь уже какое окончание бы не было робот будет видеть что у данной страницы один истинный урл - его он и будет индексировать, остальные игнорировать.
Мои сеошники уже полгода голосят, что это так и осталось всего лишь рекомендацией))) Увы и ах.
Яндексу-гуглу надо больше качественныхсайтов, черт их побери...
Правильно, rel="canonical" это всего лишь инструмент. Если проблем с дублями нет, то его можно и не использовать.