Думай как Google: что мы узнали о поведении поискового бота Google спустя 6 млрд лог-строк
Технический директор JetOctopus Сергей Безбородов рассказывает, как сделать сайт более привлекательным для поискового бота, основываясь на результатах своего исследования по анализу логов длиной в один год и 300 млн проверенных страниц.
Только существуют сотни краулеров, как различных сервисов, всем известных так и и узконишевых, еще и частных, в сумме их тысячи. И большинство из них косит под гугл-бота. 70% трафика в сети, запросов к сайту являются различными ботами. Кто-то анализирует конкурентов, кто-то собирает линки, заголовки, ключи, кто-то текстовки, кто-то картинки, кто-то ищет уязвимости, кто-то ищет по фильтрам и собирает нужные ему сайты и еще тысячи причин. А многим вебмастерам важно знать, кто из миллиона ботов на сайте является гуглом, кто человеком, а кто мусором. И над этой задачей бьются лучшие умы, но так и не нашли 100% решения. Так как сам гугл одновременно косит под пользователя и всех остальных, он тоже прячется. Поэтому, что вы смогли наанализировать из этой кучи мусора совсем не понятно. Вы придумали сферического коня в вакууме, где есть один гугл и один сайт.
А многим вебмастерам важно знать, кто из миллиона ботов на сайте является гуглом, кто человеком, а кто мусором. это не проблема, всегда есть ip адрес по которому можно сказать 100% гугл это или яндекс или бинг.
Поэтому, что вы смогли наанализировать из этой кучи мусора совсем не понятно. Вы придумали сферического коня в вакууме, где есть один гугл и один сайт.в статье под которой этот комментарий, я подробно описал что мы "наанализировать из этой кучи мусора"