Раньше, если бы вам приходилось парсить результаты поиска Google, понадобилось бы много прокси-серверов, но благодаря ребятам из ScraperAPI это больше не проблема. У них есть тысячи прокси по всему миру, поэтому всё, что вам нужно сделать, — это отправить запрос, используя вызов через их API, они будут выполнять ротацию прокси в фоновом режиме. Как это сделать, читайте дальше.
Проверил этот способ в 2024 году. Печаль - из 5000 АПИ кредитов, которые тестово дает ScraperAPI осталось 0 за буквально 5 минут, а в результате проверилось 240 урлов из 1000. Перерасход средств будет огромный. Там и тарифы поменялись, за 1 000 000 кредитов (которых хватит на 25к урлов) надо заплатить 150 долларов, за 3 000 000 кредитов (73к урлов) - 300 баксов.
А мне надо проверить около 120кк урлов - получается надо будет заплатить около 5000 долларов за кредиты... Ну такое. Либо что то не так включил я, раз у меня сожрало сразу столько кредитов за 240 урлов