Парсинг сайтов без блокировок. Как лучше это делать?
Меня зовут Максим Кульгин и моя компания xmldatafeed занимается парсингом сайтов в России. Ежедневно мы парсим более 500 крупнейших интернет-магазинов в России и на выходе мы отдаем данные в формате Excel/CSV и делаем готовую аналитику для маркетплейсов.
Интересно, вы вот описали вроде как и решение и проблемы парсинга, но меня интересует другой вопрос:
Какая среднестатистическая скорость парсинга магазинов типа днс/ситилинк?)
Сколько примерно времени будет парситься ~100к страниц.
На каком нибудь среднестатистическом железе, Аля 2х2680v3
где-то 1 товар в 7-8 секунд. Ведь надо парсить так, чтобы не мешать работе магазина.