Парсили сайты, парсим и будем парсить. И не нужно этому мешать!

Здравствуйте, меня зовут Максим Кульгин. Моя компания xmldatafeed.com занимается парсингом много лет. На днях мы вернули 16 000 руб. клиенту, так как не смогли парсить весь iherb.com с нужной клиенту скоростью. Проверил и оказалось, что это единичный случай за весь год и родилась эта, чуть-чуть философская статья.

Ферма для создания пула мобильных прокси. Эта самая маленькая, кстати. И мы с помощью таких ферм парсим.
9292

Подытоживая, можно сделать вывод, что парсинг выгоден всем

лол бред )
если овнеры блочат ботов - значит это для чего-то нужно.

опять-таки, таких охотников за "новым золотом" завались, и наибольший геморой это как раз быть уверенным что они не тебя не повалят, а уж необходимость добавлять серваки при активном скрапинге - это чистый убыток бизнесу.

пупкин при этом парсит, или нгуен, или ли, роли не играет. есть малочисленные известные ребята - поисковики и прочее, а есть ноунейм боты, паразитирующие на твоем контенте. сами же говорите что базы продаете. отчисления овнерам при этом платите? нет конечно, ну так и нахер им это надо.

2
Ответить