Думай как Google: что мы узнали о поведении поискового бота Google спустя 6 млрд лог-строк
Технический директор JetOctopus Сергей Безбородов рассказывает, как сделать сайт более привлекательным для поискового бота, основываясь на результатах своего исследования по анализу логов длиной в один год и 300 млн проверенных страниц.
Очень понравилась статья. Хотел бы уточнить. Вы исследовали работу Гугл бота. А что насчёт Яндекса? В русскоязычной среде всё же поисковик Яндекс более популярен. Как там ведёт себя бот в плане краулинга? Аналогично гугловскому?
яндекс у нас есть в данных, но не так много как гугла. В целом на него оказывают влияение все вышеперечисленные факторы, но не так сильно.
Например, он гораздо лояльнее относится к страницам которые есть только у вас в сайтмапе и их нет в перелинковке, гугл же по таким "не любит" ходить