{"id":13465,"url":"\/distributions\/13465\/click?bit=1&hash=1e6228dc4e5e22730d5108e1c30ee96b3462205737e7a3fe7ce4c965aaacfe57","title":"\u041a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044f Ozon \u2014 \u043a\u043e\u043c\u0443, \u0447\u0442\u043e \u0438 \u043a\u0430\u043a \u043f\u0440\u043e\u0434\u0430\u0432\u0430\u0442\u044c \u0432 \u043a\u0440\u0438\u0437\u0438\u0441","buttonText":"\u0423\u0437\u043d\u0430\u0442\u044c","imageUuid":"6b1e0c55-41d3-56c2-84e2-fe6f447e3825","isPaidAndBannersEnabled":false}
Никита Шабалин

Новое правило оформления Robots.txt - ошибка в вебмастере дубли по Get параметрам

Всем привет, в этом посте хочу рассказать о проблеме с которой столкнулся:

В Яндекс-вебмастере вылезла ошибка о том что контент дублируется по Get параметрам.

Первым делом я решил скрыть от индексации страницы вида: /?utm&параметр&параметр через Disallow: /*?* , но ошибка в Яндекс вебмастере так и продолжала висеть в вебмастере, сколько бы я не отправлял на перепроверку.

Помог уход в сторону clean param

Таким образом, я удалил скрытие от индексации через Disallow: /*?* и прописал следующую структуру:

Clean-param: utm_source&&p&rr и т.д.

Суть использования этой диррективы в кратце - сокращение параметров в url до начальной ссылки и передача веса всех страниц с параметрами на основную страницу в моём случае.

Давайте покажу пример:

У меня были в поиске урлы вида:

/page?utm_source=4899&code=GJ3jVnX6j2lkbtXFCoM4hJyttU4dzxkYQm5UXm09TwQX&pid=7939

Следовательно в роботс добавляем:

Clean-param: utm_source&code

После обработки страницы /page?utm_source=4899&code=GJ3jVnX6j2lkbtXFCoM4hJyttU4dzxkYQm5UXm09TwQX&pid=7939 в robots.txt для поискового робота Яндекс страница будет иметь вид: /page

А весь вес страницы с параметрами передастся также /page

Параметров в одном Clean-param рекомендую указывать до 15 штук, иначе может возникнуть ситтуация что поисковой робот не сможет обработать длинную строку из 100 параметров.

Теперь ошибка из Яндекс-вебмастера ушла, все страницы с параметрами исключены и роботы индексируют сайт хорошо. Позиции выросли в 2 раза примерно.

Для Google ботов можно оставить Disallow: /*?*

Всем спасибо, надеюсь будет кому-то полезно.

0
2 комментария
Anna Petrova

Да! Супер! Спасибо 👍👍👍👍

Ответить
Развернуть ветку
Елена Павлова

Добрый день, Никита. Подскажите Clean-param прописываем тольк в файле robots.txt или же коде сайта также необходимо прописать?

Ответить
Развернуть ветку
Читать все 2 комментария
null