Как посчитать краулинговый бюджет: 3 простых шага
Статья для тех, кто ни разу не считал краулинговый бюджет и не представляет, как это делается и для чего. Мы расскажем и покажем тонкости расчета и на примере нашего сайта, а также объясним, в каком случае следует бить тревогу.
Сайту на 150 урл вообще нет смысла парится по такому поводу как краулинговый бюджет. Да и на 5к-10к страниц тоже.
Мюллер же как-то вякнул, что если сайт - до 200 тыщ урлов, можете не дёргаться, неважно.
Но по факту - смотрим на странице в индексе и видим, что суровый разнобой с открытыми для индексации страницами. И тут к гадалке не ходи: либо сайтец зафильтрован, либо по техничке проблемы. А это частенько встречается.