Бывает, смотришь на сайт и вроде все прекрасно: базовая оптимизация проведена, метатеги прописаны, сайт удобный и адаптивный. Даже микроразметку сделали и УТП составили. Но не лезет он в топ по нужным запросам, как его не толкают. Крутится на втором-третьем десятке как заколдованный.
Тогда я проверяю сайт на самую распространенную и досадную ошибку – дублирование страниц. Эта проблема есть практически у всех проверяемых мной сайтов. Ее нельзя проверить автоматическими онлайн-чекерами – они не анализируют структуру сайта, поэтому эта ошибка не попадает в поле зрения новичков.
Как проверить вручную на дублирование
Очень просто. Выбираете несколько самых важных для вас запросов и вводите их в поисковой строке в таком виде: "ключевой запрос site:moisait.ru".
Вот как выглядят дублирующиеся страницы по запросу "Уборка квартир в Москве" у сайта aclean.ru
Очень грубая ошибка – главная страница имеет сразу 3 копии.
https://www.aclean.ru
https://aclean.ru
https://aclean.ru/?present=Y
Под этот же запрос оптимизирована еще и страница "О компании".
В итоге сайт находится вне топ-10
Такая же картина у сайта qlean.ru
В итоге позиции тоже вне топ-10.
А вот результат проверки на дублирующие страницы по этому же запросу топового сайта. Здесь дублей нет.
"Влажная уборка" и "генеральная уборка" хоть и похожи, но это явно другие запросы, по которым человек ищет уже конкретную услугу, а не общую фразу.
И так надо проверить все основные запросы на предмет дублирования. Есть программы "пауки", которые парсят весь сайт и дают возможность проанализировать сразу все дубли сайта.
Почему эта ошибка настолько распространена
Даже если изначально все на сайте было сделано хорошо, в процессе жизнедеятельности на нем создаются новые страницы. За семантической структурой никто не следит, и дублируются уже не просто страницы, а целые разделы.
Диагностику сайта почему-то редко проводят, хотя это очень важный этап в продвижении. Недорогая диагностика часто может выявить такие проблемы, устранение которых окупает ее стоимость стократно.
Мы регулярно проводим диагностику авто, организма, газового котла... А вот диагностику сайта почему-то не принято делать.
Поиск дублей это всего лишь один из пунктов проверки сайта на критические ошибки, которые я провожу. На самом деле есть и другие не менее важные проблемы, сильно ухудшающие показатели вашего сайта. Но об этом в следующих статьях.
Просьба автора просветить на счет дублей страниц при пагинации каталога. Критично? Как устранить?
Да критично. Особенно если учесть, что раздел каталога обычно оптимизирован под важные средне- и высокочастотные запросы.
Самый простой (но не лучший) способ закрыть в robots.txt все кроме основной. Например вот так:
Disallow: /page/* или Disallow: /*/?page= (как у вас это реализовано я не знаю)
Правильнее прописать rel=canonical для всех дублирующихся страниц с указанием основной. Этот вариант лучше.
Самый крутой вариант это вообще отсутствие пагинации, как на vc например.
Тогда все записи на одной странице просто подгружаются бесконечно. Это делают при помощи яваскрипт фреймворков. Тогда и поведенческие сохраняются. Это конечно идеал, но надо весь сайт переделывать, что недешево.
Извините. А разве страницы где есть параметр после знака ? должны учитываться поисковиками как самостоятельные. Может это индексироваться, но не влиять на дубли?
Если нет запрета в robots.txt то все индексируется. Есть даже сайты у которых вся навигация построена на GET запросах типа /?p=178 и их индексируют поисковики.
Вопрос был про дубли. Будут ли они считаться как дубли с пессимизацией?
Такие технические дубли решаются простым добавлением метатега rel="canonical". Здесь уже какое окончание бы не было робот будет видеть что у данной страницы один истинный урл - его он и будет индексировать, остальные игнорировать.
Мои сеошники уже полгода голосят, что это так и осталось всего лишь рекомендацией))) Увы и ах.
Яндексу-гуглу надо больше качественныхсайтов, черт их побери...
Правильно, rel="canonical" это всего лишь инструмент. Если проблем с дублями нет, то его можно и не использовать.