Думай как Google: что мы узнали о поведении поискового бота Google спустя 6 млрд лог-строк
Технический директор JetOctopus Сергей Безбородов рассказывает, как сделать сайт более привлекательным для поискового бота, основываясь на результатах своего исследования по анализу логов длиной в один год и 300 млн проверенных страниц.
мало знать какие страницы обошел робот, надо еще знать по как оптимизировать sitemap для ранее криворуко добавленного сайта в индекс гугла и что сделать с самим сайтом