Что такое прокси и как парсить интернет-магазины с их помощью для обхода защиты?

Моя компания занимается парсингом интернет-магазинов в России уже более трёх лет, ежедневно мы парсим около 400 крупнейших сайтов в РФ.

На выходе мы просто отдаем данные в формате Excel/CSV. Но если вы вдруг захотите парсить самостоятельно, то вам точно стоит узнать больше про прокси: что это такое, зачем они, где их найти и т.п. Об этом и расскажу в данной статье.

Если вы когда-нибудь всерьез занимались парсингом, вы быстро осознавали, что прокси-сервера являются одним из ключевых компонентов любого веб-парсинга. В парсинг-проекте с серьезными объемами данных прокси-сервер — это не рекомендация, а необходимость.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Прокси - это посредник, который маршрутизирует через себя ваш трафик и заменяет ваш IP-адрес на свой. Когда вы отправляете сайту (например, магазину ОЗОН.РУ) запрос через прокси, сайт не видит ваш IP, он видит только IP-адрес прокси-сервера, что дает вам возможность анонимно просматривать (или парсить) веб-страницы. Сейчас весь мир постепенно переходит от стандарта IPv4 к новому стандарту IPv6. Новая версия протокола позволяет создавать больше IP-адресов. Однако в прокси-бизнесе IPv6 пока не так уж и важен, поэтому большинство IP-адресов все еще используют стандарт IPv4.

При парсинге веб-сайта через прокси рекомендуется (но очень редко кто этому следует на практике) указывать название своей компании в качестве пользовательского агента (user agent), чтобы владелец веб-сайта мог связаться с вами, если ваш парсер перегружает их сервера или если он не хочет, чтобы вы парсили данные с его сайта.

Существует ряд причин, по которым важно использовать прокси при парсинге:

Хорошо, мы разобрались, что такое прокси-сервера, но как применять их при парсинге?

Если при парсинге вы пользуетесь только одним прокси-сервером, то это аналогично тому, как если бы вы использовали только собственный IP-адрес для парсинга — это снизит вашу надежность сканирования, параметры геотаргетинга и количество одновременных запросов, которые вы можете сделать.В результате вам необходимо создать пул прокси-серверов, через которые вы сможете направлять свои запросы. Таким образом, вы распределите трафик по большому количеству прокси.

Например, у нас при парсинге прокси ротируются каждые 2-3 часа порциями по 300-400 адресов.

Размер вашего прокси-пула будет зависеть от ряда факторов:

Все эти пять факторов оказывают большое влияние на эффективность вашего прокси-пула. Если вы неправильно настроили пул прокси-серверов для своего проекта, то с большой вероятностью вы обнаружите, что ваши прокси-серверы заблокированы, и вы больше не можете получить доступ к целевому веб-сайту.В следующем разделе мы рассмотрим различные типы IP-адресов, которые вы можете использовать в качестве прокси.

Если вы хоть немного изучали существующие варианты прокси-серверов, то, вероятно, поняли, что это весьма запутанная тема. Каждый разработчик прокси-сервиса заявляет во всеуслышание, что у него лучшие прокси во всём интернете, но мало кто объясняет, почему это так. Из-за этого сложно определить, какой прокси-сервис является лучшим для конкретно вашего проекта.

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

От публичных (или так называемых «открытых») прокси следует держаться подальше. У таких прокси низкое качество соединения, и они могут представлять для вас реальную "опасность". Эти прокси открыты для свободного подключения, поэтому через них проходит большое количество сомнительных запросов, что неизбежно ведет к попаданию в черные списки и блокировкам на сайтах. Самое плохое в них то, что эти прокси часто бывают заражены вредоносными программами. Если вы не настроили вашу безопасность должным образом (используя SSL-сертификаты и т.д.), то при использовании публичного прокси-сервера вы рискуете распространить существующее вредоносное ПО, заразить ваши собственные компьютеры и даже придать огласке ваши действия по парсингу сайтов.

Выбор между общими или выделенными прокси немного сложнее. В зависимости от масштаба вашего проекта, ваших потребностей в производительности и бюджета, вам может быть достаточно платной подписки на доступ к общему пулу IP-адресов. Однако, если вам позволяет бюджет и важна производительность, то лучше заплатить за выделенный пул прокси.

Итак, теперь у вас есть неплохое представление о том, что такое прокси и какие плюсы и минусы у разных типов IP-адресов прокси-серверов. Но выбор правильного прокси сервера — это вершина айсберга, самая сложная задача заключается же в управлении ими.

Если вы планируете парсить в промышленном масштабе в долгосрочной перспективе, то недостаточно просто купить пул прокси IP-адресов и маршрутизировать через них свои запросы к сайту. Ваши прокси неизбежно будут заблокированы и перестанут возвращать высококачественные данные.

Итак, что вас ждет:

Управлять пулом из 5-10 прокси несложно, но если у вас 100 или 1000 прокси, то вся сеть может быстро развалиться. Чтобы избежать таких проблем, у вас есть три основных решения: «Сделай сам», «Ротаторы прокси» и «Всё для вас».

В этом случае вы приобретаете пул общих или выделенных прокси-серверов, а затем самостоятельно создаете и настраиваете решение для управления прокси-сервером, чтобы преодолеть все возникающие проблемы. С одной стороны, это, скорее всего, самый дешёвый вариант, но, с другой стороны, он может быть самым затратным в плане ресурсов и времени. Этот вариант подходит вам, если у вас уже есть команда для парсинга с достаточной пропускной способностью для управления прокси-сервером или если у вас маленький бюджет, и вы не можете позволить ничего лучше.

Оптимальное решение — это покупка прокси у поставщика, который обеспечивает ротацию адресов и геотаргетинг. В таком случае вы будете избавлены от решения базовых проблем управления пулом. Вы сможете уделить больше времени для разработки и настройки сессионного управления, регулировки пропускной способности, выявления причин бана и т.д.

Окончательное решение — полностью передать управление прокси-сервером на аутсорсинг. Такие решения, как Crawlera, разработаны как интеллектуальные загрузчики, где ваши парсеры просто запрашивают его API, и он вернет вам необходимые данные. Управление всеми функциями ротации, регулировки, обработка черных списков, управление сеансами и т. д. — вам не нужно будет на это отвлекаться.

Каждый из этих вариантов имеет свои плюсы и минусы, поэтому выбор лучшего решения будет зависеть от ваших конкретных приоритетов и ограничений.

Мы в своей работе используем бесплатные прокси, которых достаточно много, но их минус - плохое качество, который компенсируется большим количеством :)

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:

Ответы на эти вопросы помогут вам быстро определить, какой подход к управлению прокси-сервером наилучшим образом соответствует вашим потребностям.

Как уже было сказано выше, если вы больше сосредоточены на изучении с нуля всего, что связано с парсингом, или у вас очень ограниченный бюджет, то, вероятно, лучшим выбором будет покупка доступа к общему пулу IP-адресов и самостоятельное управление логикой работы прокси-сервера.

“Ротация прокси” – как уже говорилось ранее, если вы хотите действовать самостоятельно, то рекомендуем вам использовать поставщика прокси, который предоставляет услугу ротации IP-адресов. Это избавит вас от базовых задач по управлению серверами. Однако вам все равно придется заниматься управлением сеансами подключения, регулировкой запросов, черным списком IP-адресов и выявлением причин бана.

“Все для вас” – другой подход заключается в использовании интеллектуальных алгоритмов для автоматического управления вашими прокси. В таком случае можно получить достоверные данные, пользуясь специализированными решениями по управлению прокси-серверами, которые управляют ротацией, регулированием трафика и выбором IP-адресов ЦОДов, и не тратиться на дорогие частные и мобильные IP-адреса.

На данном этапе у вас должно быть хорошее представление о том, что такое прокси-серверы и как выбрать лучший вариант для вашего веб-проекта. Тем не менее, есть один аспект, который многие люди упускают из виду, когда речь заходит о парсинге и прокси, — это юридический аспект. Использование прокси-IP-адреса для посещения веб-сайта законно, однако, необходимо помнить о нескольких моментах, чтобы не попасть в серую зону.

Наличие надежного прокси-решения похоже на обладание суперсилой, однако оно может сделать вас беспечным. Имея возможность отправлять огромное количество запросов на веб-сайт, оставаясь анонимными, люди начнут этим злоупотреблять и перегружать серверы веб-сайта слишком большим количеством запросов. Что, естественно, делать не стоит.

Если вы используете парсер, то вы всегда должны с уважением относиться к веб-сайтам, которые вы сканируете. Независимо от масштаба или сложности вашего проекта, вы всегда должны следовать рекомендациям по парсингу веб-страниц и следить, чтобы ваши боты не перегружали веб-сайты. Кроме того, если веб-сайт информирует вас (или сообщает прокси-провайдеру) о том, что ваш парсер мешает работе сайта или парсинг сайта нежелателен, вы должны ограничить количество запросов или прекратить сканирование. Пока вы соблюдаете правила, вероятность того, что вы столкнетесь с какими-либо юридическими проблемами, гораздо ниже.

Если говорить про парсинг в Европе (привет "GDPR"), есть еще один важный юридический вопрос, касающийся использования домашних или мобильных IP-адресов: а есть ли у вас явное согласие их владельцев на использование этих адресов для парсинга веб-страниц? Поскольку GDPR определяет IP-адреса как информацию, позволяющую установить личность, вам необходимо убедиться, что все IP-адреса ЕС, которые вы используете в качестве прокси-серверов, соответствуют GDPR. Это означает, что вам нужно убедиться, что владелец этого IP-адреса дал свое явное согласие на использование своего домашнего или мобильного IP-адреса в качестве прокси-сервера для парсинга.

Если у вас есть собственный IP-адрес, то вам нужно будет самостоятельно обработать это согласие. Однако если вы получаете прокси от стороннего поставщика, то прежде чем использовать их для парсинга, вам необходимо убедиться, что у него есть такое согласие и оно соответствуют GDPR.

Если вы поищите в Интернете "прокси сервера" - получите массу предложений. От очень дешевых до достаточно дорогих. Наш опыт говорит, что бесплатных прокси (легко найти открытые списки, которые обновляются регулярно) вполне до статочно даже для промышленного парсинга, если только вы настроите их ротацию!

Удачного парсинга :)