Бывает, смотришь на сайт и вроде все прекрасно: базовая оптимизация проведена, метатеги прописаны, сайт удобный и адаптивный. Даже микроразметку сделали и УТП составили. Но не лезет он в топ по нужным запросам, как его не толкают. Крутится на втором-третьем десятке как заколдованный.
Тогда я проверяю сайт на самую распространенную и досадную ошибку – дублирование страниц. Эта проблема есть практически у всех проверяемых мной сайтов. Ее нельзя проверить автоматическими онлайн-чекерами – они не анализируют структуру сайта, поэтому эта ошибка не попадает в поле зрения новичков.
Как проверить вручную на дублирование
Очень просто. Выбираете несколько самых важных для вас запросов и вводите их в поисковой строке в таком виде: "ключевой запрос site:moisait.ru".
Вот как выглядят дублирующиеся страницы по запросу "Уборка квартир в Москве" у сайта aclean.ru
Очень грубая ошибка – главная страница имеет сразу 3 копии.
https://www.aclean.ru
https://aclean.ru
https://aclean.ru/?present=Y
Под этот же запрос оптимизирована еще и страница "О компании".
В итоге сайт находится вне топ-10
Такая же картина у сайта qlean.ru
В итоге позиции тоже вне топ-10.
А вот результат проверки на дублирующие страницы по этому же запросу топового сайта. Здесь дублей нет.
"Влажная уборка" и "генеральная уборка" хоть и похожи, но это явно другие запросы, по которым человек ищет уже конкретную услугу, а не общую фразу.
И так надо проверить все основные запросы на предмет дублирования. Есть программы "пауки", которые парсят весь сайт и дают возможность проанализировать сразу все дубли сайта.
Почему эта ошибка настолько распространена
Даже если изначально все на сайте было сделано хорошо, в процессе жизнедеятельности на нем создаются новые страницы. За семантической структурой никто не следит, и дублируются уже не просто страницы, а целые разделы.
Диагностику сайта почему-то редко проводят, хотя это очень важный этап в продвижении. Недорогая диагностика часто может выявить такие проблемы, устранение которых окупает ее стоимость стократно.
Мы регулярно проводим диагностику авто, организма, газового котла... А вот диагностику сайта почему-то не принято делать.
Поиск дублей это всего лишь один из пунктов проверки сайта на критические ошибки, которые я провожу. На самом деле есть и другие не менее важные проблемы, сильно ухудшающие показатели вашего сайта. Но об этом в следующих статьях.
Так есть же тег meta[rel="canonical"]. И если все "дубликаты" имеют одинаковый "canonical" URL то и восприниматься они должны как одна и та же страница Но под разными URL. То есть эта проблема решается тривиально, разве нет?
Да конечно. Но если указана каноническая страница, то дублей не будет в индексе. Поэтому я и написал о проверке через Яндекс. Точнее всего смотреть глазами поисковика.
Вообще проблема с дублями еще решается через robots.txt или через переписывание метатегов. Зависит от того какова природа дубля.
Очень часто существуют страницы на которые могут передаваться доп. параметры. Ну, взять хотя бы этот материал:
https://vc.ru/seo/115745-kriticheskaya-oshibka-kotoraya-est-prakticheski-na-kazhdom-sayte — обычная ссылка
https://vc.ru/seo/115745-kriticheskaya-oshibka-kotoraya-est-prakticheski-na-kazhdom-sayte?comment=1727754 — ссылка на комментарий на этой же странице.
Технически это разные URL, но достаточно просто добавить
link[rel="canonical"] и забыть об этой проблеме. Большинство CMS, как на пример WordPress делает это автоматически, так что вам даже думать об этом не нужно.
Вордпресс в этом плане молодцы - почти все базовые требования кстати в движок встроили. В том же Битриксе надо допиливать в htaccess редиректы и 404 ответы делать. Дублирует по всем параметрам.