Думай как Google: что мы узнали о поведении поискового бота Google спустя 6 млрд лог-строк
Технический директор JetOctopus Сергей Безбородов рассказывает, как сделать сайт более привлекательным для поискового бота, основываясь на результатах своего исследования по анализу логов длиной в один год и 300 млн проверенных страниц.
Подскажите способ проанализировать перелинковку на сайте. Я пытаюсь оптимизировать сайт под SILO архитектуру, глазами просмотриваю ссылки на каждой странице, но на 100-том УРЛе задолбалась. Буду благодарна за совет: как просканировать все ссылки одним махом?
для небольших сайтов возьмите любой десктоп краулер, мне нравится sitebulb или нетпик - там скраулите и увидите картину по перелинковке