Бывает, смотришь на сайт и вроде все прекрасно: базовая оптимизация проведена, метатеги прописаны, сайт удобный и адаптивный. Даже микроразметку сделали и УТП составили. Но не лезет он в топ по нужным запросам, как его не толкают. Крутится на втором-третьем десятке как заколдованный.
Тогда я проверяю сайт на самую распространенную и досадную ошибку – дублирование страниц. Эта проблема есть практически у всех проверяемых мной сайтов. Ее нельзя проверить автоматическими онлайн-чекерами – они не анализируют структуру сайта, поэтому эта ошибка не попадает в поле зрения новичков.
Как проверить вручную на дублирование
Очень просто. Выбираете несколько самых важных для вас запросов и вводите их в поисковой строке в таком виде: "ключевой запрос site:moisait.ru".
Вот как выглядят дублирующиеся страницы по запросу "Уборка квартир в Москве" у сайта aclean.ru
Очень грубая ошибка – главная страница имеет сразу 3 копии.
https://www.aclean.ru
https://aclean.ru
https://aclean.ru/?present=Y
Под этот же запрос оптимизирована еще и страница "О компании".
В итоге сайт находится вне топ-10
Такая же картина у сайта qlean.ru
В итоге позиции тоже вне топ-10.
А вот результат проверки на дублирующие страницы по этому же запросу топового сайта. Здесь дублей нет.
"Влажная уборка" и "генеральная уборка" хоть и похожи, но это явно другие запросы, по которым человек ищет уже конкретную услугу, а не общую фразу.
И так надо проверить все основные запросы на предмет дублирования. Есть программы "пауки", которые парсят весь сайт и дают возможность проанализировать сразу все дубли сайта.
Почему эта ошибка настолько распространена
Даже если изначально все на сайте было сделано хорошо, в процессе жизнедеятельности на нем создаются новые страницы. За семантической структурой никто не следит, и дублируются уже не просто страницы, а целые разделы.
Диагностику сайта почему-то редко проводят, хотя это очень важный этап в продвижении. Недорогая диагностика часто может выявить такие проблемы, устранение которых окупает ее стоимость стократно.
Мы регулярно проводим диагностику авто, организма, газового котла... А вот диагностику сайта почему-то не принято делать.
Поиск дублей это всего лишь один из пунктов проверки сайта на критические ошибки, которые я провожу. На самом деле есть и другие не менее важные проблемы, сильно ухудшающие показатели вашего сайта. Но об этом в следующих статьях.
Просьба автора просветить на счет дублей страниц при пагинации каталога. Критично? Как устранить?
Да критично. Особенно если учесть, что раздел каталога обычно оптимизирован под важные средне- и высокочастотные запросы.
Самый простой (но не лучший) способ закрыть в robots.txt все кроме основной. Например вот так:
Disallow: /page/* или Disallow: /*/?page= (как у вас это реализовано я не знаю)
Правильнее прописать rel=canonical для всех дублирующихся страниц с указанием основной. Этот вариант лучше.
Самый крутой вариант это вообще отсутствие пагинации, как на vc например.
Тогда все записи на одной странице просто подгружаются бесконечно. Это делают при помощи яваскрипт фреймворков. Тогда и поведенческие сохраняются. Это конечно идеал, но надо весь сайт переделывать, что недешево.
Извините. А разве страницы где есть параметр после знака ? должны учитываться поисковиками как самостоятельные. Может это индексироваться, но не влиять на дубли?
Если нет запрета в robots.txt то все индексируется. Есть даже сайты у которых вся навигация построена на GET запросах типа /?p=178 и их индексируют поисковики.
Вопрос был про дубли. Будут ли они считаться как дубли с пессимизацией?
Урл отличается значит дубль. Яндекс может выбросить на свое усмотрение любые из индекса и оставить одну. Гугл может воспринять как попытку манипулированием выдачей и пессимизировать.
В вордпрессе автоматом указывается канонический урл для всех таких страниц поэтому на нем дубли автоматом не создаются. На Битриксе все хуже. Вот например
http://tso174.ru/objects/index.php
http://tso174.ru/objects/
Урл конечно отличается, но и контент так же отличается. Будут ли они считаться как дубли с пессимизацией?
Если содержание и урл разные то это не дубли. Главное еще чтобы тайтлы и h1 отличались. Тогда это однозначно разные страницы.
Тайтлы и мета не отличаются не отличаются. Будет пессимизация. Как узнать?
Грубо говоря тайтл это вывеска. Если вы на две страницы вешаете одинаковый тайтл то вы на одну беговую дорожку ставите двух своих бегунов. В итоге они будут мешать друг другу. Если содержание разное просто перепишите тайтлы.
Просьба ответить на вопрос в ракурсе пагинации на сайте. Будет пессимизация. Как узнать?
Санкций за дубли нет. Сайт просто будет понижен в выдаче (по сути поисковик это сплошной фильтр, все сайты не на топ1 отфильтрованы). За что сайт понижен точно никто не скажет - надо просто смотреть какие важные ошибки на сайте и исправлять их.
Просьба уточнить. Понижен весь сайт или страницы дубли?
И главное. Если убрать этот дубль. Сайт вернется?