Если не возражаете, один вопрос к автору и коллегам, у которых есть подтверждённый реальностью актуальный на данный момент опыт:
К примеру, у вас есть сайт на стандартном Вордпрессе. Соотвественно, там есть тэги, категории, списки постов автора(-ов), архивы (календарь записей) и т.п.
Раньше рекомендовалось закрывать их УРЛы от индексации в robots.txt, т.к. контент, очевидно, дублировался. Закрытием предлагалось "расставлять приоритеты вручную".
Сейчас дефолтный robots.txt в Wordpress ничего не закрывает, рекомендаций относительно таких действий также не даётся. Объясняют тем, что современные поисковые роботы достаточно умны, чтобы разобраться сами. Более того, исключая ссылки, вы также теряете часть передаваемого ссылочного веса.
Что говорит ваш опыт на этот счёт? Закрывать УРЛы с дублирующимся контентом или нет? Интересует как для Яндекса, так и для Гугла.
Как говорится, "на Яндекс надейся, но сам не плошай". Многие оптимизируют структуру сайта таком образом, чтобы на технические страницы типа архивов автора и др было как можно меньше ссылок или ссылки шли с менее значимых страниц. Я тоже делаю так или вообще скрываю их от ПС.
Если указанные типы страниц - тэги, категории, списки постов автора(-ов), архивы (календарь записей) и т.п. обладают поисковым просом ( иными словами если для данных страниц можно подобрать запросы с частотой отличной от 0 и в ТОП-ах по таким запросам будут страницы контент которых буден аналогичен контенту вашей страницы - например, если у вас страница тега, вы подобрали под нее семант и в ТОП-е по данной семантике схожие страницы со списками постов, материалов и т.п.) то да - в таком случае такие страницы стоит оставить доступными поисковому роботу. В противном случае (если спрос под страницы отсутствует) стоит закрыть страницы от индексации, чтобы сэкономить краулинговый бюджет.
Если не возражаете, один вопрос к автору и коллегам, у которых есть подтверждённый реальностью актуальный на данный момент опыт:
К примеру, у вас есть сайт на стандартном Вордпрессе. Соотвественно, там есть тэги, категории, списки постов автора(-ов), архивы (календарь записей) и т.п.
Раньше рекомендовалось закрывать их УРЛы от индексации в robots.txt, т.к. контент, очевидно, дублировался. Закрытием предлагалось "расставлять приоритеты вручную".
Сейчас дефолтный robots.txt в Wordpress ничего не закрывает, рекомендаций относительно таких действий также не даётся.
Объясняют тем, что современные поисковые роботы достаточно умны, чтобы разобраться сами. Более того, исключая ссылки, вы также теряете часть передаваемого ссылочного веса.
Что говорит ваш опыт на этот счёт? Закрывать УРЛы с дублирующимся контентом или нет?
Интересует как для Яндекса, так и для Гугла.
Как говорится, "на Яндекс надейся, но сам не плошай". Многие оптимизируют структуру сайта таком образом, чтобы на технические страницы типа архивов автора и др было как можно меньше ссылок или ссылки шли с менее значимых страниц. Я тоже делаю так или вообще скрываю их от ПС.
Если указанные типы страниц - тэги, категории, списки постов автора(-ов), архивы (календарь записей) и т.п. обладают поисковым просом ( иными словами если для данных страниц можно подобрать запросы с частотой отличной от 0 и в ТОП-ах по таким запросам будут страницы контент которых буден аналогичен контенту вашей страницы - например, если у вас страница тега, вы подобрали под нее семант и в ТОП-е по данной семантике схожие страницы со списками постов, материалов и т.п.) то да - в таком случае такие страницы стоит оставить доступными поисковому роботу. В противном случае (если спрос под страницы отсутствует) стоит закрыть страницы от индексации, чтобы сэкономить краулинговый бюджет.