Всем привет, в этом посте хочу рассказать о проблеме с которой столкнулся:
В Яндекс-вебмастере вылезла ошибка о том что контент дублируется по Get параметрам.
Первым делом я решил скрыть от индексации страницы вида: /?utm&параметр&параметр через Disallow: /*?* , но ошибка в Яндекс вебмастере так и продолжала висеть в вебмастере, сколько бы я не отправлял на перепроверку.
Помог уход в сторону clean param
Таким образом, я удалил скрытие от индексации через Disallow: /*?* и прописал следующую структуру:
Clean-param: utm_source&&p&rr и т.д.
Суть использования этой диррективы в кратце - сокращение параметров в url до начальной ссылки и передача веса всех страниц с параметрами на основную страницу в моём случае.
Давайте покажу пример:
У меня были в поиске урлы вида:
/page?utm_source=4899&code=GJ3jVnX6j2lkbtXFCoM4hJyttU4dzxkYQm5UXm09TwQX&pid=7939
Следовательно в роботс добавляем:
Clean-param: utm_source&code
После обработки страницы /page?utm_source=4899&code=GJ3jVnX6j2lkbtXFCoM4hJyttU4dzxkYQm5UXm09TwQX&pid=7939 в robots.txt для поискового робота Яндекс страница будет иметь вид: /page
А весь вес страницы с параметрами передастся также /page
Параметров в одном Clean-param рекомендую указывать до 15 штук, иначе может возникнуть ситтуация что поисковой робот не сможет обработать длинную строку из 100 параметров.
Теперь ошибка из Яндекс-вебмастера ушла, все страницы с параметрами исключены и роботы индексируют сайт хорошо. Позиции выросли в 2 раза примерно.
Для Google ботов можно оставить Disallow: /*?*
Всем спасибо, надеюсь будет кому-то полезно.
Да! Супер! Спасибо 👍👍👍👍
Добрый день, Никита. Подскажите Clean-param прописываем тольк в файле robots.txt или же коде сайта также необходимо прописать?
В robots.txt достаточно будет
Всех приветствую! Уверены на 100%, что многих это заинтересует, мы предлагаем дешевые, но качественные статьи по 8 рублей за 1000 символов. Заходите в магазин статей textlog.ru!