Думай как Google: что мы узнали о поведении поискового бота Google спустя 6 млрд лог-строк
Технический директор JetOctopus Сергей Безбородов рассказывает, как сделать сайт более привлекательным для поискового бота, основываясь на результатах своего исследования по анализу логов длиной в один год и 300 млн проверенных страниц.
Была бы ещё интересна статистика по роботам: кто чаще ходит, в какое время суток, корреляция между скоростью загрузки и количеством посещений. В общем, хочется взглянуть на цифры, но это уже, наверное, вне контекста статьи.
мы делали подобные выборки, там инфы еще на пару статей, у гугла например есть зависимость между ботами адвордса и основным гуглботом - добавили большую кампанию на кучу кеев - набежали боты адвордса, основной бот гугла ушел - если не анализировать в комплексе, то можно испугаться))
на яндекс не такая сильная зависимость в крулинге по глубине сайта, если например в целом по гуглу crawl ratio низкий, а по яндексу высокий - часто говорит по проблемах в структуре