John Whistler

Получается, что краулинг имеет смысл только для действительно огромных сайтов с раздутым числом страниц? А для небольших или только развивающихся сайтов есть что предложить?