Парсили сайты, парсим и будем парсить. И не нужно этому мешать!

Здравствуйте, меня зовут Максим Кульгин. Моя компания xmldatafeed.com занимается парсингом много лет. На днях мы вернули 16 000 руб. клиенту, так как не смогли парсить весь iherb.com с нужной клиенту скоростью. Проверил и оказалось, что это единичный случай за весь год и родилась эта, чуть-чуть философская статья.

Ферма для создания пула мобильных прокси. Эта самая маленькая, кстати. И мы с помощью таких ферм парсим.
9292

Глупости и враки. Автор сам себя убеждает (во что самому хочется верить), что защищаться от парсинга дорого, сложно, невозможно, а парсинг это легально.

Что ж ... пусть попробует рядом с ИНН разместить прайс на свои услуги со стоимостью парсинга соцсетей на предмет фото, имени и фамилии. Бег, знаете, тоже легален. Бег с место преступления - уже другое.

По поводу невозможности защиты. Пусть пропарсит любой поиковик. Посмотрим, разрешит ли ему поисковик бесплатно пользоваться своим сервисом. Упоминание iHerb говорит лишь о том, что нечем, кроме парсинга цен местечковых магазинов автор не занимается.

По поводу дороговизны. За $25 в месяц cloudflare отрежет всяких "парсеров цен конкурентов". Я не говорю про конфиги для веб серверов, которые отрежут очевидный треш вообще бесплатно.

12
Ответить

вы не правы. мы парсим сайты за cloud. но cloud увы увеличивает задержку сайта. если не верите - погуглите how to bypasss cloudflare

5
Ответить

бро может пропустил, автор сразу сказал про скорость + в эту стоимость осталось за скобками. Больше проксей и все скорость сразу возрастает. Только будет уже не рентабельно - финдир не пропустит))

он же скорее и финдир / фирма небольшая у него.

2
Ответить