Разработка
NewTechAudit
424

Обработка данных MS SQL Server средствами Python

Не всякие данные можно обработать с помощью старого доброго Excel или SQL. Впервые с проблемой нехватки стандартных средств анализа и обработки данных мы столкнулись при разработке модуля для анализа рекламы нашей компании на ТВ. Необходимо было хранить большой объём кадров прямого эфира каналов и информации о них. Поэтому было принято решение о интеграции возможностей языка python c языком SQL.

В закладки

Для работы импортируем необходимые библиотеки:

import pyodbc

В случае, если данная библиотека отсутствует на устройстве, в командной строке запустите команду:

pip install pyodbc

Данный модуль упрощает доступ к базам данных через программный интерфейс ODBC (Open Database Connectivity).

Далее создаём строку подключения к нашей базе данных:

connectionString = ("Driver = {SQL Server Native Client 11.0};""Server =YOUR SERVER;" "Database = audTv;""Trusted_Connection=yes")

где Driver – драйвер Microsoft ODBC для SQL Server. Обеспечивает возможность подключения к Microsoft SQL Server из Windows.

Server – указание сервера, на котором будут храниться (хранятся) наши таблицы:

Trusted Connection – указывает на способ подключения пользователей к БД. В случае, если указано значение «yes», для проверки подлинности используется учётная запись Windows, а ключи UID и PWD игнорируются, и наоборот, при выборе значения «no».

После заполнения строки подключения данными, выполним соединение к нашей базе данных:

connection = pyodbc.connect(connectionString, autocommit=True)

Создадим курсор, с помощью которого, посредством передачи запросов будем оперировать данными в нашей таблице:

dbCursor = connection.cursor()

Теперь можно написать наш первый запрос! Допустим, у нас есть таблица с данными о книгах, связанных с проектированием баз данных. Данная таблица будет содержать следующие данные: название книги, имя(имена) автора(ов) книги, год издания и краткое описание.

Добавим данные в нашу таблицу с помощью кода на python:

requestString = ””” INSERT INTO Books(name,author,publicationYear,descript) VALUES ('Рефакторинг баз данных. Эволюционное проектирование','Скотт В. Эмблер, Прамодкумар Дж. Садаладж',2007,'В книге представлены советы по улучшению кода для баз данных'), ('Базы данных. Проектирование и разработка','Рэймонд Фрост, Джон Дей, Крейг Ван Слайк',2007,'Довольно популярная книга по проектированию и рефакторингу') ””” dbCursor.execute(requestString) connection.commit()

Проверим нашу таблицу (для проверки использовался SQL Server Management Studio):

Наш запрос успешно выполнен, но стоит отметить, что возможности использования библиотеки pyodbc не ограничиваются заполнением таблиц данными. Попробуем выбрать данные из нашей таблицы:

requestString2 = ”””select name,author from Books where publicationYear=2007””” dbCursor.execute(requestString) for row in dbCursor: print(“Название книги: ” + row.name + “Автор(ы) книги: ” + row.author)

Результат работы программы:

Так же есть возможность сохранения результата запроса в объект DataFrame, для дальнейшей обработки средствами библиотеки pandas:

import pandas as pd from IPython.display import display df = pd.read_sql_query(requestString,connection) display(df.head())

Результат работы программы:

Таким образом, сегодня мы научились с помощью скриптов на языке python посредством библиотеки pyodbc создавать запросы для работы с SQL серверами, что может быть использовано для удобства работы с данными в повседневной деятельности аудитора.

Лайфхаки IT, проверенные AI-решения для стандартных задач
{ "author_name": "NewTechAudit", "author_type": "editor", "tags": [], "comments": 6, "likes": 5, "favorites": 13, "is_advertisement": false, "subsite_label": "dev", "id": 138134, "is_wide": true, "is_ugc": false, "date": "Tue, 30 Jun 2020 20:02:11 +0300", "is_special": false }
Маркетинг
Черный PR на репутацию. Как он работает и как защищаться
Нередко потенциальный клиент смотрит информацию, отзывы, рейтинги перед посещением заведения или покупкой какого-либо…
Объявление на vc.ru
0
6 комментариев
Популярные
По порядку
Написать комментарий...
1

Интересненько, попробую, спасибо.

Ответить
0

Alexander, спасибо!

Ответить
1

тоесть Вы предлагаете использовать raw sql запросы место какой-нибудь orm? а как же сложные join'ы и subquery?

Ответить
0

Алексей, спасибо за ваш комментарий. В статье рассматриваем один из подходов по взаимодействию с данными. ORM не всегда используем, они усложняют работу с реляционными БД, скрывают SQL за обертками из сложных конструкций собственных объектов.

Ответить
0

тогда проще вьюхи на бд создать)))

Ответить

Комментарии