Парсинг — это полезно и не стыдно. Особенно если данные собирает робот RPA, а отчеты показывает BI

Продавцы следят друг за другом. Интернет-магазины хотят знать, какие у конкурентов цены и условия доставки, производители смотрят, чтобы дистрибьюторы не занижали цены. Для удовлетворения их любопытства каждый день сочиняются сотни парсеров. Но есть решение получше — простое и универсальное.

Одно из множества объявлений на Хабр.Фриланс. Спарсить хотят примерно всё
1616 показов
6.5K6.5K открытий
11 репост

Статья правда очень интересная, а можете пояснить как происходит парсинг большого количества данных, ведь если робот реально работает в браузере на виртуальной машине, то это очень медленно видны повторяющиеся запросы с одного ИП 

Ответить

Ну прям как человек - медленно, с одного айпи :) что и требовалось, чтобы не банили.
Тут второй вопрос:  большие объемы данных - это сколько? Если один робот не справляется - можно нескольких запустить

Ответить