Рассматиривая Cloudflare, мы обязательно должны рассмотреть и проверку на клиенте. Это то, что в при обсуждении сервиса принято называть словом “challenge”. Суть его такова: в ответ на запрос к сайту Cloudflare отдает специальным образом сформированную страницу, где есть какой-то обфусцированный JavaScript. Этот JavaScript реализует обращения к разным API браузера, включая возможность делать ajax-запросы, производит вычисления, проверяет наличие Selenium-драйвера, в общем, проверяет, что браузер ведет себя как браузер, а не как другая реализация интерпретатора JavaScript. В зависимости от результатов этой проверки, разрешается или блокируется доступ к запрошенной странице. Конкретный алгоритм проверки меняется со временем.
Зачем мучиться с xvfb, когда давно есть возможность запускать хром в headless режиме.
headless изи детектится от простых методов, до сложных (отрисовка сложного webgl canvas-а)
Комментарий недоступен
Пишу парсера и автоматизацию любой сложности.
Парсинг с обходом Cloudflare (есть свое собственное решение, работает очень быстро практически как обычные запросы).
Парсера с обходом любой защиты от ботов.
Автоматизацию с эмулированием поведенческие факторы (клики, движение мышкой) и многое другое.
Пишу парсера под windows/linux.
Мой ютуб с примерами обхода Cloudflare: https://www.youtube.com/@coderpicasso
Мой телеграм: @dflowd