Думай как Google: что мы узнали о поведении поискового бота Google спустя 6 млрд лог-строк
Технический директор JetOctopus Сергей Безбородов рассказывает, как сделать сайт более привлекательным для поискового бота, основываясь на результатах своего исследования по анализу логов длиной в один год и 300 млн проверенных страниц.
Статья хороша реальными данными, спасибо! Особенно впечатлило машинное изучение краулинга Гуглбота. Однако данные на графике не совсем понятны. Какие же факторы больше всего влияют на краулинговый бюджет?
самый главный фактор - это насколько частотны запросы по которым ранжируется страница, потом идет вложенность по кликам, перелинковка
в целом на краулинговый бюджет влияет тематика сайта, размер и общий трафик