Добрый день! недавно услышал мнение, что стоит пагинацию на больших сайтах закрывать всю кроме первой страницы в robots.txt чтобы краулинговый бюджет экономить. Как вы считаете, это правильная рекомендация?
Добрый день! С данным утверждением не согласен - страницы пагинации необходимо оставлять открытыми для индексации, что бы дать возможность поисковым роботам индексировать документы, находящиеся на более глубоком уровне вложенности. Можно проставлять со второй и последующих страниц пагинации ссылки на первую - в таком случае поисковые роботы все равно будут переходить по страницам пагинации, но в поисковом индексе данные страницы отображаться не будут
Добрый день! недавно услышал мнение, что стоит пагинацию на больших сайтах закрывать всю кроме первой страницы в robots.txt чтобы краулинговый бюджет экономить. Как вы считаете, это правильная рекомендация?
Добрый день!
С данным утверждением не согласен - страницы пагинации необходимо оставлять открытыми для индексации, что бы дать возможность поисковым роботам индексировать документы, находящиеся на более глубоком уровне вложенности.
Можно проставлять со второй и последующих страниц пагинации ссылки на первую - в таком случае поисковые роботы все равно будут переходить по страницам пагинации, но в поисковом индексе данные страницы отображаться не будут