Разработка
NTA
1854

Как упростить процесс извлечения и обработки данных с веб-сайтов?

Как немного упростить этот процесс при помощи Python? Вам не досталось API? Нужно всего лишь иметь среду разработки, Python и pip.

В закладки

Начнем с идеи. Допустим, вы хотите провести экспертизу отчетности заводчика собак, используя в том числе и сторонние ресурсы.

Для этого вы пробуете получить систематизированную информацию о щенках заводчика, зная, к примеру, лишь название их пород, и составить из нее таблицу в Pandas, пригодную к дальнейшей обработке любого характера (всевозможные статистические изыскания, агрегация и так далее). Но ваши данные хранятся в глубине некоторого абстрактного веб-сайта, откуда вы можете вынуть их в только виде архива, где сложены документы нескольких форматов, внутри которых есть текст, картинки, таблицы. А если пород щенков много, а на каждую из них есть по десятку pdf-файлов с таблицами, откуда вам нужна не вся информация, а также, например, нужны названия этих таблиц или сноски? Добавим в наш проект несколько функций, решающих следующие задачи: выгрузка и распаковка архива с данными, поиск и обработка pdf файлов из архива, анализ полученных данных.

Для начала импортируем все необходимое. Разделим библиотеки, нужные нам, на системные:

import os import re import glob import csv import shutil

и внешние, требующие установки (pip install, как я и говорил):

import requests as req import pandas as pd from zipfile import ZipFile import tabula import PyPDF2 from pdf2image import convert_from_path from pytesseract import image_to_string from PIL import Image, ImageDraw

Теперь для каждого вашего щеночка скачаем большой архив с данными, обратившись к сайту по названию его породы:

def get_doquments_archive(breed): url = 'https://yourwebsite' + breed + '/document/download' with req.get(url, stream=True) as r: r.raise_for_status() with open('/Users/user/Desktop/' + breed + '.zip', 'wb') as f: for chunk in r.iter_content(chunk_size=8192): f.write(chunk)

Теперь у нас есть архив на рабочем столе. Распакуем его, для этого нам понадобится знать всего лишь путь к файлу с архивом:

def unzipper(zippath, cond = False): dirpath = zippath[:-4] + '_package' if os.path.exists(dirpath) and os.path.isdir(dirpath): shutil.rmtree(dirpath) os.mkdir(dirpath) with ZipFile(zippath, 'r') as zipObj: zipObj.extractall(path = dirpath)

На этом шаге мы получим папку с документами, где могут быть pdf, csv, xls, png и другие приятные штуки. Допустим, мы желаем обработать несколько pdf файлов, содержащих таблицы с данными. Но как их оттуда вынуть? Для начала выделим из папки документы нужного нам формата:

all_pdfs = glob.glob(dirpath + '/*_pd*.pdf')

Отлично. Теперь у нас есть набор файлов, внутри которых есть текст и таблицы. При попытке вынуть оттуда информацию может оказаться, что такую смесь инструменты распознают очень криво, особенно если таблицы склеены друг с другом, а их заголовки или сноски – отдельно стоящий текст. На помощь приходит tabula! Но для начала вынем из первой страницы каждого документа немного текстового описания, не входящего в таблицу (такой текст для tabula может быть проблемой). Поскольку на первой странице также может быть таблица, воспользуемся фокусом:

def get_text_description(path): pdfFileObj = open(path,'rb') pdfReader = PyPDF2.PdfFileReader(pdfFileObj) pages = convert_from_path(declar, 0) page = pages[0] pname = '/Users/user/Desktop/text_description.png' page.save(pname, 'JPEG') text = image_to_string(Image.open('/Users/user/Desktop/text_description.png'), lang = 'rus') text_file = open('res', "w") text_file.write(text) text_file.close()

Теперь начнем работать с таблицей. Если повезет, и таблица в нашем pdf вполне читемая, tabula корректно выгрузит ее в формате csv, таким образом, информацию даже не придется парсить:

tabula.convert_into(file, 'output_file.csv', output_format = "csv", pages = 'all')

Посмотрите, как теперь может быть просто получить, например, данные о характере выбранного щенка:

data = pd.read_csv('/Users/user/Desktop/output_file.csv') temperament = data[data['Порода'] == 'Цвергшнауцер']['Характер']

Но если автор текста склеил таблицы между собой, добавил в строки разное количество столбцов или перемешал их с текстом? Тогда мы приведем полученный от tabula файл в новый формат:

def get_table_data(path): data = [] with open(path) as csvfile: reader = csv.DictReader(csvfile) for row in reader: for val in row.values(): data.append(val) data = str(data) data = re.sub('\]|\[|,|\'', '', data) data = data.replace("\\n", "") return data

Для чего? Это позволит искать нужную информацию быстро и безболезненно с помощью регулярных выражений. Хотим найти набор возможных цветов породы:

def get_colors(data): res = re.search('^Цвета: (.*)', data).group(1) return res

Теперь мы накопили некоторое количество информации из файлов по одному щенку (допустим, характер, цвета, масса). Добавим ее в pandas dataframe как новую строку:

def append_new_row(dataframe, breed, temperament, colors, weight): return dataframe.append({'Порода': breed, 'Характер': temperament, 'Цвета': colors, 'Масса' : weight }, ignore_index=True)

Что мы теперь имеем:

Итак, мы выгрузили с сайта архив с данными, распаковали его, вынули нужные нам документы, достали из них важную информацию и привели ее к удобному формату. Теперь эти данные можно сравнивать с предоставляемыми компанией, преобразовывать и анализировать, а также многое другое! Гораздо удобнее, чем качать и выписывать вручную.

P.S.: неплохо было бы очистить рабочий стол от великого множества объектов, которые мы сгенерировали автоматически в течение работы, в том числе и от папок:

def clean_all(path): os.remove(path + '.zip') shutil.rmtree(path + '_package')

Важно, чтобы ваши действия оставались полностью законными. Забирать данные с сайтов можно, красть контент нельзя. Качать автоматически можно, класть сервер нельзя. Изучайте авторские права и УК РФ, не наносите ущерб.

Лайфхаки IT, проверенные решения для стандартных задач
{ "author_name": "NTA", "author_type": "editor", "tags": [], "comments": 1, "likes": 10, "favorites": 42, "is_advertisement": false, "subsite_label": "dev", "id": 172333, "is_wide": true, "is_ugc": false, "date": "Fri, 30 Oct 2020 22:42:29 +0300", "is_special": false }
Объявление на vc.ru Отключить рекламу
Трибуна
Cli.co, но не вдова: как мы создали бесплатный сервис сокращения ссылок
Меня зовут Андрей Инсаров, я основатель и генеральный директор международной ИТ-компании Intis Telecom.
0
1 комментарий
Популярные
По порядку
0

как всегда нет конкретики, какой сайт, или сайты?
есть способы в разы проще и почему питон, а не php?
Если повезет, и таблица в нашем pdf вполне читемая, tabula корректно выгрузит ее в формате csv, таким образом, информацию даже не придется парсить...

читемая конечно иначе она нафига на сайте?

Ответить

Комментарии

{"hash":"fdc8dd76","params":{"id":"e2WiSD9EtWg","service":2,"title":"Alfa Digital Open","isLegacy":true}}