Думай как Google: что мы узнали о поведении поискового бота Google спустя 6 млрд лог-строк
Технический директор JetOctopus Сергей Безбородов рассказывает, как сделать сайт более привлекательным для поискового бота, основываясь на результатах своего исследования по анализу логов длиной в один год и 300 млн проверенных страниц.
Можете посоветовать бесплатный анализатор логов сайта с визуализацией по ошибкам, сканам страниц и прочее. Сайт не большой до 2000 страниц.
бесплатных не знаю, платные есть достаточно много - как sitebulb, netpeak spider и ну и скримин фрог