Анализ данных является одним из наиболее важных этапов решения многих задач в области искусственного интеллекта. Он необходим для их понимания, а также последующей обработки и представления на вход модели. Однако, этот процесс часто требует больших временных затрат, а постепенно увеличивающиеся объёмы данных могут сделать многие традиционные методы анализа (часто ручные) и вовсе недоступными.
В статье проведён обзор библиотеки pandas profiling, которая позволяет автоматизировать первичный анализ данных и, тем самым, значительно его упростить и ускорить.
0. Установка.
Библиотека устанавливается стандартными способами pip и conda:
Можно произвести установку и в оффлайн режиме. Для этого нужно скопировать репозиторий проекта, указать к нему путь и выполнить:
Требования к необходимым библиотекам указаны здесь.
1. Использование.
Пользоваться библиотекой очень просто — надо всего лишь указать объект DataFrame для которого нужно выполнить исследование. Это осуществляется методом:
Методу можно передать следующие параметры:
Для работы с конфиденциальной информацией можно задать параметры duplicates=None и samples=None — тогда в отчёте не будут отображаться дубликаты и фрагменты данных.
Полный список параметров приведён здесь.
В результате для каждого столбца массива в зависимости от его типа выводится следующая статистика:
- Основная информация: тип, уникальные значения, количество нулевых и пропущенных значений
- Квантильная статистика: минимальное и максимальное значения, квартили, интерквартильный размах и др.
- Описательная статистика: среднее значение, мода, стандартное отклонение, коэффициенты асимметрии, самые частые значения и др.
- Графическая информация: гистограмма, корреляционные матрицы и др.
Кроме этого, pandas profiling может работать с текстами, файлами и картинками
Оценим работу этой библиотеки, выполнив анализ популярного датасета adult.data.
Первая часть отчёта (Overview) содержит основные сведения о датасете.
Вторая часть (Variables) показывает развёрнутую статистику по каждой переменной. Toggle details позволяет получить более расширенную статистику.
После этого приведена графическая информация о взаимодействии (Interactions) и корреляции признаков (Correlations), выводится статистика по пропущенным значениям (Missing values), дубликатам (Duplicate rows), а также показаны первые и последние 10 строк датасета (Sample).
Можно оформить отчёт в виде виджета следующим способом:
2. Сохранение отчёта.
Для дальнейшего использования отчёт можно сохранить в HTML и JSON форматах:
Заключение.
Pandas profiling — мощный инструмент data science, позволяющий значительно ускорить предварительный анализ данных. Его использование особо эффективно при работе с большими датасетами, когда исследовать каждый признак вручную не представляется возможным.
В качестве бонуса приведены несколько примеров использования этой библиотеки:
- NASA Meteorites (comprehensive set of meteorite landings)
- Stata Auto (1978 Automobile data)
- NZA report (open data from the Dutch Healthcare Authority)
- Titanic
как бы да заполирвоать первичку искозить достоверность
и потмо писать про ИИшака