Как не тратить краулинговый бюджет на страницы фильтров
Краулинговый бюджет — это один из важнейших факторов, который влияет на то, как часто и насколько глубоко поисковые системы будут заходить на ваш сайт. Проще говоря, это объем ресурсов (времени и мощности), который поисковик, например, Google, готов выделить на обход вашего сайта за определенный период. Понимание того, как работает краулинговый бюд…
Если объективно – проблемой страницы фильтрации становятся только при паре условий:
а) Если формируются они обычными ссылками и доступны роботам
б) Если оптимизатор прослоупочил поисковый спрос и из страницы фильтра не сделал внятную товарную категорию с полноценной посадочной страницей.
Просто так резать страницы фильтров от сканирования вместо оптимизации - резать курицу, несущую золотые яйца.
Не могу согласиться. Поисковые системы научились краулить страницы с query-параметрами, и они могут индексировать даже сложные вариации фильтров.
Есть например интернет-магазин с кучей фильтров – цвет, размер, бренд и т.д., то комбинаций может быть просто гигантское количество. И, если все эти вариации остаются открытыми для индексации – это может перегружать краулинговый бюджет.
Кроме того, есть риск каннибализации. Если, допустим, на странице фильтра, который просто варьируется по какому-то незначительному атрибуту, нет уникального контента, а сама страница мало чем отличается от основной категории – зачем тратить на неё бюджет? Это просто "съест" ресурсы и, возможно, ухудшит общий ранжир сайта.
Но ключевой момент в том, что не все фильтры одинаково полезны. Если фильтр может стать полноценной категорией, как ты справедливо заметил, тогда его однозначно надо оптимизировать. Например, если есть спрос на "красные кроссовки" или "телефоны с 128 ГБ памяти", то такие страницы могут стать важными для пользователя. А вот страницы вроде "телефоны с весом от 150 до 160 грамм" вряд ли принесут трафик и будут полезны. В таких случаях действительно лучше закрыть эти вариации от индексации и сохранить краулинговый бюджет для более значимых страниц.