Как посчитать краулинговый бюджет: 3 простых шага
Статья для тех, кто ни разу не считал краулинговый бюджет и не представляет, как это делается и для чего. Мы расскажем и покажем тонкости расчета и на примере нашего сайта, а также объясним, в каком случае следует бить тревогу.
Не работают тут уже приблизительные цифры. Нужно выгружать стату по конкретным URL, и тут только логи в помощь.
Часть данных (иногда - большая) вообще в отчёты консолей не попадает. Скажем, гуглобот может тупо-методично тыкаться в 100 лет как мёртвые URL, или вообще все визиты тратить исключительно на служебные адреса.
Он же не по страничкам ходит, у него просто список урлов, и там может быть что угодно - скажем, кольцевой редирект, или по факту мусорная страничка, интересная посетителям не из числа целевой аудитории.