Прокси для Cloudflare: как парсить защищенные сайты
Купить прокси для Cloudflare - не проблема. Проблема начинается, когда даже дорогой резидентский IP не пробивается через защиту.
Прокси лишь один из элементов в этом "уравнении парсинга" - я попробую разобрать комплексно то, как обходить Cloudflare, какие способы и инструменты актуальны в 2027, но перед этим вот обещанный список топовых прокси:
- NodeMaven 🔥 - не только из-за большой базы чистых IP. У них есть собственный Scraping Browser и продвинутое API для разработчиков.
- Mobileproxy - прокси на базе мобильных сим-карт, которым многое прощает Cloudflare и другие платформы.
- Третье место я бы разделил между Proxxxymiron, Relayox и PSB-Proxy - более бюджетные, но все еще качественные варианты.
*если ссылки не видны - посмотрите полный рейтинг на сайте.
Оглавление статьи:
7 инструментов для парсинга сайтов под Cloudflare: от Requests до Playwright
Универсального решения для Cloudflare нет. И это не просто дежурная оговорка.
На одном сайте обычный Python Requests спокойно получает HTML, на другом понадобится полноценный браузер, а третий может блокировать автоматизированный доступ независимо от выбранной библиотеки.
Поэтому начнём с инструментов, постепенно переходя от самых простых к более сложным.
1. Requests - самый простой вариант
requests - одна из самых популярных Python-библиотек для HTTP-запросов. Никакого браузера, дополнительных драйверов или сложных настроек. Отправляете GET-запрос и получаете ответ сервера.
Установка:
Простейший пример:
Если сервер возвращает HTML с нужными данными, дальше можно подключать BeautifulSoup, lxml или другой HTML-парсер.
Для работы через прокси используется параметр proxies:
А где могут быть проблемы?
Во-первых, Requests не выполняет JavaScript. Во-вторых, Requests использует собственный сетевой стек. Его характеристики отличаются от полноценного браузера.
Поэтому установка User-Agent от Chrome не делает Python-запрос настоящим браузерным посещением.
Когда использовать: парсинг доступных HTML-страниц, API, мониторинг и регулярные выгрузки, не требующие браузерного рендеринга.
Лично я бы всегда начинал тестирование с Requests. Зачем запускать тяжёлый браузер, если сервер и так отдаёт нужные данные?
2. curl_cffi - когда важен TLS-отпечаток
curl_cffi - более интересный инструмент, особенно если обычный Requests получает отказ ещё до загрузки страницы независимо от прокси. Чтобы понять его преимущества, придётся немного углубиться в устройство HTTPS.
Когда браузер устанавливает соединение с сервером, стороны согласовывают параметры TLS. Набор и порядок некоторых характеристик соединения позволяют формировать так называемые TLS-отпечатки.
Например, JA3 и JA4.
Разные HTTP-клиенты могут иметь разные отпечатки. И Cloudflare способен учитывать такие сигналы при анализе трафика.
curl_cffi использует возможности curl-impersonate, позволяющие воспроизводить сетевые характеристики определённых браузеров.
Установка:
Пример HTTP-запроса с поддерживаемым браузерным профилем:
Библиотека поддерживает сессии, cookies и прокси.
Доступные варианты impersonate зависят от установленной версии, поэтому перед использованием конкретного профиля лучше свериться с документацией.
Чем это отличается от подмены User-Agent?
User-Agent - всего лишь HTTP-заголовок. А curl_cffi работает с характеристиками сетевого соединения. Это принципиально другой уровень.
Кстати, именно этот подход подробно разобран в статье на Хабре "Как парсить сайты за Cloudflare". Автор демонстрирует получение HTML через curl_cffi там, где обычная браузерная автоматизация с прокси сталкивалась с проверками.
Но здесь я бы не стал делать слишком оптимистичных выводов.
curl_cffi не выполняет JavaScript страницы и не воспроизводит все особенности полноценного браузера. Поэтому успешный результат на одном сайте ничего не гарантирует для другого.
Когда использовать: HTTP-запросы, в которых не требуется выполнение JavaScript.
На мой взгляд, это один из самых интересных инструментов списка. Особенно для разработчиков, которым хочется разобраться, почему два внешне одинаковых запроса получают разные ответы.
3. Cloudscraper - JavaScript-проверки без запуска Chrome
cloudscraper - ещё один инструмент, построенный поверх Requests.
Его особенность - поддержка некоторых классических автоматических JavaScript-проверок Cloudflare. Обычный Requests с такой задачей не справлялся.
Раньше Cloudflare часто показывал промежуточную страницу с JavaScript-кодом, который клиент должен был выполнить перед получением доступа.
Cloudscraper добавляет механизм обработки подобных проверок, сохраняет cookies и продолжает работу в рамках одной сессии.
Установка:
Пример:
Выглядит практически как Requests. И в этом главное преимущество библиотеки: не нужно запускать Chrome, загружать браузерный движок и расходовать ресурсы на полноценный рендеринг.
Cloudscraper также поддерживает прокси и повторное использование сессий.
Например, если требуется выполнять серию разрешённых запросов к одному ресурсу, можно переиспользовать один объект scraper.
Cookies между запросами будут сохраняться. Но есть существенное ограничение.
Cloudscraper рассчитан прежде всего на определённые типы старых автоматических проверок. Современные Managed Challenge и Turnstile он универсально не поддерживает.
Этот нюанс хорошо разобран в статье KalinkinDev. Автор отдельно описывает ограничения версии с PyPI и ситуации, в которых приходится переходить к другим инструментам.
Именно поэтому я бы не рекомендовал строить на Cloudscraper долгосрочную инфраструктуру, рассчитывая на постоянную совместимость со всеми механизмами Cloudflare.
Когда использовать: небольшие HTTP-проекты и совместимые классические JS-проверки.
4. Playwright - полноценный браузер для динамических сайтов
Playwright - уже совсем другой класс инструментов. В отличие от Requests и Cloudscraper, он управляет полноценным браузером.
Это позволяет работать с сайтами, где данные загружаются после выполнения JavaScript, взаимодействовать с элементами интерфейса, обрабатывать переходы и получать итоговый DOM.
Для Python установка выглядит так:
Пример для сайта, на котором разрешена автоматизация:
В отличие от обычного HTTP-клиента, здесь запускается Chromium. Поэтому можно дождаться появления элементов, которые создаются JavaScript.
Например:
Это особенно полезно при парсинге интернет-магазинов, каталогов и других динамических ресурсов.
Playwright также умеет работать через прокси:
Почему Playwright не всегда решает проблему Cloudflare?
Cloudflare может анализировать характеристики клиента, признаки автоматизации и другие сигналы. Поэтому Playwright тоже способен получить проверку или отказ.
Еще один минус: браузер потребляет память и процессорное время, а при большом количестве параллельных задач это требует ресурсов.
Когда использовать: JavaScript-сайты, сложные интерфейсы, парсинг и сбор данных, требующий реального рендеринга.
5. Puppeteer - альтернатива Playwright для JavaScript
Puppeteer решает примерно те же задачи, что и Playwright, но особенно популярен среди разработчиков на JavaScript и Node.js.
Он позволяет запускать браузер, открывать страницы, выполнять JavaScript и извлекать данные из DOM.
Установка:
Пример:
Puppeteer удобен для работы с динамическими страницами и приложениями, использующими современные frontend-фреймворки.
Дополнительно существуют расширения вроде puppeteer-extra и puppeteer-extra-plugin-stealth. Они предназначены для изменения некоторых характеристик браузерной автоматизации.
Но ожидать, что один плагин обеспечит стабильную работу с любым сайтом под Cloudflare, не стоит.
Например, в руководстве Froxy рассматривается целый набор инструментов: Puppeteer, stealth-плагины, прокси, управление cookies и сессиями. Если проект уже написан на JavaScript, Puppeteer - вполне логичный выбор.
6. Selenium и Undetected ChromeDriver
Selenium появился задолго до большинства современных инструментов браузерной автоматизации.
Он позволяет управлять настоящими браузерами: Chrome, Firefox, Edge и другими.
Для Python:
Пример:
Казалось бы, если запускается настоящий Chrome, то почему Cloudflare вообще должен отличать его от обычного посетителя?
Проблема в том, что браузер управляется через WebDriver.
Некоторые признаки автоматизации могут быть доступны сайту. Например, свойство navigator.webdriver. Для изменения отдельных характеристик автоматизированного браузера существуют проекты вроде undetected-chromedriver.
Но и здесь нет универсального решения.
В статье на Хабре автор подробно описывает свои эксперименты с Selenium, Undetected ChromeDriver и дальнейшую работу с Chrome DevTools Protocol.
Наиболее интересная часть - рассказ о технических проблемах при запуске ChromeDriver и взаимодействии с браузером. Это хороший пример того, почему автоматизация браузера далеко не всегда ограничивается несколькими строками кода.
Когда использовать: существующие Selenium-проекты, задачи с развитой WebDriver-инфраструктурой.
Для нового Python-парсера я бы чаще выбирал Playwright. Но если проект уже построен на Selenium и нормально работает, переписывать всё ради модного инструмента смысла нет.
7. FlareProx - прокси на базе Cloudflare Workers
Последний инструмент немного выбивается из списка.
FlareProx - это не библиотека для управления браузером, а проект для развёртывания HTTP-прокси на базе Cloudflare Workers. Он позволяет направлять запросы через промежуточный Worker.
Принцип работы:
Для использования требуется учётная запись Cloudflare и API-токен с соответствующими правами.
Проект поддерживает различные HTTP-методы и позволяет управлять прокси-эндпоинтами программно. Подробнее о FlareProx можно прочитать в материале на Хабре.
Но здесь есть принципиальный момент.
FlareProx использует инфраструктуру Cloudflare в качестве прокси. Это не означает, что он автоматически проходит антибот-защиту Cloudflare на сторонних сайтах.
Worker не является полноценным браузером и не выполняет JavaScript целевой страницы. Поэтому FlareProx стоит рассматривать как отдельный инструмент для HTTP-проксирования, разработки и тестирования.
Какие прокси подходят для Cloudflare и другие вопросы
1. Какие прокси лучше для Cloudflare - мобильные или резидентские?
Для многих задач достаточно резидентских прокси. В начале статьи я уже привел список провайдеров, которые предлагают резидентские прокси и с которыми у меня был собственный положительный опыт.
Здесь я продублирую ссылки на промокоды, чтобы Вы могли получить дополнительную экономию:
2. Чем отличаются резидентские прокси от серверных?
Серверные IP относятся к инфраструктуре дата-центров, резидентские - к сетям интернет-провайдеров. Первые обычно дешевле, вторые полезны для регионального тестирования и задач, требующих соответствующего типа подключения.
Но даже серверные прокси лучше, чем бесплатные публичные прокси.
3. Что такое TLS fingerprint и JA3/JA4?
Это способы описания характеристик сетевого соединения. Они помогают отличать разные типы клиентов. Поэтому простая замена User-Agent не делает Python Requests полноценным Chrome.
4. Помогает ли ротация IP при парсинге?
В отдельных сетевых сценариях ротация полезна, но сама по себе не решает проблемы JavaScript-проверок или правил доступа. Для авторизованных сессий иногда, наоборот, удобнее использовать стабильный IP.
5. Что такое Sticky Session (Липкие сессии)?
Это возможность закрепить один выходной IP на определённый период. Полезно, когда требуется сохранить стабильное подключение в рамках одной сессии.
6. Что выгоднее: собственный парсер или готовый Scraping API?
Зависит от масштаба. Для небольших задач собственный скрипт обычно дешевле. Для сложных проектов стоимость сопровождения, браузеров и прокси может сделать специализированный API экономически привлекательнее.
Ошибки Cloudflare при парсинге: 403, 429, 1015 и 1020
Разберём наиболее распространённые ошибки.
403 Forbidden - доступ запрещён
Сервер получил запрос, но отказался предоставлять доступ. Причиной может быть правило Cloudflare WAF, блокировка по IP или ограничения самого сайта. Поэтому 403 не всегда означает, что виноват именно Cloudflare.
Что делать: проверить тело ответа, заголовки и источник блокировки. Если вы владелец сайта - посмотреть события безопасности в Cloudflare Dashboard.
429 Too Many Requests - слишком много запросов
Что делать: уменьшить интенсивность запросов, проверить наличие заголовка Retry-After и настроить паузы между повторными обращениями.
Error 1015 - превышен лимит запросов
Специфическая ошибка Cloudflare, связанная с rate limiting. По сути, сайт временно ограничивает доступ из-за превышения установленного лимита.
Что делать: снизить частоту запросов и дождаться снятия ограничения. Постоянные повторные обращения могут продлить блокировку.
Error 1020 - Access Denied
Cloudflare отклонил запрос из-за срабатывания правила безопасности. Это не обязательно означает, что IP попал в глобальный чёрный список. Причина может заключаться в конкретных настройках защищаемого сайта.
Что делать: если сайт ваш, найти событие по Ray ID в журнале безопасности Cloudflare. Если чужой - обратиться к администратору для уточнения условий доступа.
Заключение
Главная ошибка при работе с Cloudflare - считать, что всё решается покупкой правильного прокси. На практике многое зависит от самого инструмента парсинга.
Поэтому я бы начинал с самого простого решения и постепенно усложнял архитектуру только при необходимости.