Прокси для замены ip-адреса

Делимся примером того, как использовать «бесплатные» прокси-серверы для исключения блокировки ip-адреса

Справочно: прокси-сервер представляет собой промежуточный сервер в компьютерных сетях, выполняющий роль посредника между пользователем и целевым сервером, позволяющий клиентам как выполнять косвенные запросы к другим сетевым службам, так и получать ответы.

Вместо прямого подключения к целевому серверу, который может выполнять запрошенный ресурс, например, файл или веб-страницу, клиент направляет запрос на прокси-сервер, который оценивает запрос и выполняет необходимые сетевые транзакции.

Итак, начнем с установки необходимых библиотек.

pip install bs4 requests

Импортируем библиотеки.

import requests import random from bs4 import BeautifulSoup as bs

Далее создаем функцию, с помощью которой получим список бесплатных прокси-серверов, например, с одного из сайтов, который располагает данной информацией.

def get_proxy(): url = "https://free-proxy-list.net/" # формируем объект sp, получив ответ http sp = bs(requests.get(url).content, "html.parser") proxy = [] for row in sp.find("table", attrs={"id": "proxylisttable"}).find_all("tr")[1:]: tds = row.find_all("td") try: ip = tds[0].text.strip() port = tds[1].text.strip() host = f"{ip}:{port}" proxy.append(host) except IndexError: continue return proxy

Выполним эту функцию и посмотрим на полученный список. Надо заметить, что срок «жизни» этого списка недолгий. И для получения нового списка необходимо будет снова выполнить функцию get_proxy().

get_proxy() proxy = get_proxy() print(proxy)

На данном рисунке представлен фрагмент полученного списка.

Другая функция, назовем ее get_session, получив этот список создает сеанс запросов, который случайно выбирет для этого сеанса один из переданных ip-адресов прокси.

def get_session(proxy): # создание сеанса запроса session = requests.Session() # случайный выбор proxy proxy_ = random.choice(proxy) session.proxy = {"http": proxy_, "https": proxy_} return session

Чтобы это проверить, выполним следующий код, который отправит запрос на сайт http://icanhazip.com, возвращающий наш ip-адрес.

for i in range(4): q = get_session(proxy) try: print("Request page with IP:", q.get("http://icanhazip.com", timeout=1.5).text.strip()) except Exception as e: continue

Из полученного результата можем видеть, что это будет не наш фактический ip-адрес, а один из ip-адресов списка proxy.

Request page with IP: 124.158.183.196 Request page with IP: 163.44.153.98 Request page with IP: 191.235.239.84 Request page with IP: 109.200.155.197

Если потребуется использовать прокси-сервер в более длительном процессе парсинга, то можно воспользоваться сервисом, предоставляемым Crawlera. Этот прокси-ротатор справится с большим объемом информации и с сайтами, защищенными от роботов.

5 комментариев

Аккаунт удален

31.10.2020

Комментарий недоступен

Ответить

Koly90

04.11.2020

Привет !!!
Уже более шести лет https://goo.su/2SeE занимается продажей персональных, индивидуальных, анонимных прокси серверов. Почему вам стоит купить прокси на сайте https://goo.su/2SeE:

Высокая скорость работы - прокси быстрые и стабильные;

Полная анонимность - прокси полностью анонимные и
https://goo.su/2SeE не логирует ваши действия, и выдаеи прокси только в один руки;

Низкие цены - у https://goo.su/2SeE одни из самых дешевых прокси на рынке IPv6 и IPv4;

Полная автоматизация - вам не нужно ожидать выдачи арендованных прокси после оплаты, они выдаются сразу же автоматически и отображаются в личном кабинете;

Надёжные персональные прокси подходят для работы со всеми сайтами и сервисами:

Прокси IPv6 отлично подойдут для работы в социальных сетях, таких как: facebook, instagram, youtube и многими другими с поддержкой IPv6;

Прокси IPv4 подойдут для работы с любыми сайтами и сервисами;

Дешевые и быстрые прокси позволят вам работать в сети комфортно и безопасно. Если вы еще задаетесь вопросом: Где купить прокси? - то ответ на него - https://goo.su/2SeE

Также !!!!
При использовании партнёрского купона xWQUT2Fwsc каждый пользователь, получает 5% скидку при покупке.