Так поэтому и нужен Selenium) Просто главное не баловаться, делать задержки между запросами к страницам. Чтобы не получилось так, что ваш парсер пытается отправить 1000 запросов — от этого будет плохо серверу, ресурс с которого вы парсите, и, как следствие, вам.
и тут постучался к вам cloudfrare
Так поэтому и нужен Selenium) Просто главное не баловаться, делать задержки между запросами к страницам. Чтобы не получилось так, что ваш парсер пытается отправить 1000 запросов — от этого будет плохо серверу, ресурс с которого вы парсите, и, как следствие, вам.