Если зарабатываете на разработке парсеров на Python, рекомендую присмотреться к https://scrapy.org/

Он делает парсер асинхронным из коробки, а для парсинга это важно, модульная структура позволяет легко подключать такие вещи как proxy rotation, headless browser, тайминги между запросами и многое другое.

Ну и код будет чище )