Как парсить сайты с помощью Python? Основы работы с Requests и Selenium
Бывают ситуации, когда нужно автоматизировать сбор и анализ данных из разных источников. Для решения подобных задач применяют парсинг. В этой статье кратко рассказываем, как парсить данные веб-сайтов с помощью Python. Пособие подойдет новичкам и продолжающим — сохраняйте статью в закладки и задавайте вопросы в комментариях.
и тут постучался к вам cloudfrare
Так поэтому и нужен Selenium) Просто главное не баловаться, делать задержки между запросами к страницам. Чтобы не получилось так, что ваш парсер пытается отправить 1000 запросов — от этого будет плохо серверу, ресурс с которого вы парсите, и, как следствие, вам.