Думай как Google: что мы узнали о поведении поискового бота Google спустя 6 млрд лог-строк
Технический директор JetOctopus Сергей Безбородов рассказывает, как сделать сайт более привлекательным для поискового бота, основываясь на результатах своего исследования по анализу логов длиной в один год и 300 млн проверенных страниц.
А как вообще лучше оптимизировать работу молодого и развивающегося сайта количество страниц у которого постоянно растёт. Например, всячески избегать DFI выше пяти как написано в статье? Регулярно делать перелиновку? А ещё что?
смотрите в логи регулярно, особенно после выливки апдейтов на сайт, чтобы вы могли сразу видеть ошибки, не дожидаясь "писем счастья" от гугла