«Я в магазин, за данными»: Газпром Нефть запустила Лабораторию данных

В Газпром Нефть запустили экосистему для самостоятельного анализа данных для всех сотрудников компании.

Внедрение BI-аналитики в блоке Логистики, переработки и сбыта стартовало в 2016 году. За пять лет командой BI было создано 120 аналитических приложений Qlik, которыми ежедневно пользуются около 4000 сотрудников.

В 2019 году в Газпром Нефти появилась новая функция управления данными – помимо аналитики, в компании началось развитие направлений интеграции и поставки данных, качества данных, архитектуры данных, метаданных и НСИ.

К концу 2020 года к единому Хранилищу данных (на базе Informatica IPC) было подключено уже 40 информационных систем с автоматическим мониторингом качества данных (Informatica Data Quality). Часть данных структурировали и занесли в Бизнес-глоссарии, единой модели данных и паспортах показателей.

Каждый сотрудник компании сегодня может пройти обучение теории и практике управления данными. Доступность таких курсов развивает культуру работы с данными.

Закономерным этапом развития Системы управления данными, и в частности, аналитики стало создание в ноябре 2020 Лаборатории данных, предоставляющей для всех сотрудников Газпром Нефть возможность самостоятельно создавать BI-приложения и анализировать данные для решения повседневных задач по обработке, визуализации и исследованию данных.

Концептуально, Лаборатория данных базируется на 3 компонентах: Данные, Инструменты, Компетенции.

В рамках продукта:

• Обеспечивается простой и удобный доступ к качественным данным из информационных систем через Магазин данных
• Предоставляются аналитические инструменты для работы с данными
  
• Проводятся регулярные обучения пользователей с целью развития компетенций по анализу данных и работе с аналитическими инструментами
  

Раньше, если у сотрудника появлялась задача по анализу данных, то большую часть времени он тратил на поиск нужных данных, получение доступа к ним, их обработку и подготовку для последующего анализа. Появление Лаборатории данных упрощает этот процесс.

Однако, перед тем, как познакомить сотрудника с Лабораторией, в компании проводят онбординг – новому пользователю показывают возможности системы, знакомят с процессом работы, предлагаю пройти обучающие курсы по BI-инструментам.

Путь к самостоятельному анализу данных с помощью Лаборатории данных в Газпром Нефть выглядит так:

1. На старте работ в Лаборатории данных сотрудник изучает обучающий видео-ролик по правилам работы с Лабораторией и знакомится с возможностями продукта.

2. Проходит несколько практических онлайн-курсов по анализу данных и работе с BI-инструментами.
3. В Магазине данных находит необходимые данные для своей задачи и запрашивает к ним доступ. В Магазине данных собраны те данные из информационных систем компании, которые прошли предварительную обработку и проверку по качеству, а также приведены к внутренним стандартам компании. Это данные уже полностью готовые для анализа. Доступ к ним осуществляется в соответствии с ролевой доменной моделью и технически реализуется на базе Единой системы управления доступами в Компании.

4. При выборе датасета в Магазине (и при условии наличия к нему доступа) автоматически совершается переход в аналитическую платформу Qlik Sense, где в рабочей области сотрудника создается новое приложение с уже загруженными данными из Магазина. Все что остается сделать – это визуализировать данные для последующего анализа. При возникновении трудностей с созданием аналитических приложений сотрудник может обратиться за помощью и технической консультацией на сервис Лаборатории данных.

5. Готовым приложением сотрудник может поделиться с коллегами, опубликовав приложение в личном потоке и предоставив к нему доступ.

В процессе решения своей прикладной задачи сотрудник постепенно наращивает компетенции по анализу данных и работе с аналитическим инструментом Qlik Sense – все функциональные возможности аналитики встроены в эту систему. А компания постепенно переходит от ручной подготовки отчетов и пересылки аналитических материалов по почте в Лабораторию данных.

Таким образом, Лаборатория данных как единое пространство для анализа и работы с данными исключает необходимость как ручной подготовки данных, так и пересылки статичных отчетов и презентаций по почте, используя вместо этого средства интерактивного визуального анализа в Qlik Sense.

Почти за год работы Лабораторией данных воспользовались 1370 сотрудников Компании. Большая часть из них прошла обучение и приступила к самостоятельному решению задач по анализу данных.

Но основным ключевым показателем успешности Лаборатории данных является количество решенных аналитических задач и количество разработанных BI-приложений. На текущий момент, с помощью Лаборатории данных реализовано около 30 бизнес-кейсов – это самостоятельная работа представителей бизнес-подразделений Газпром нефти.

В 4 квартале 2021 году в Лаборатории данных запланировано подключение Платформы искусственного интеллекта (Jupyter + Python) для решения аналитических задач с более сложными алгоритмами, например, в области Машинного обучения. Также c целью реализации продвинутых аналитических задач будет расширена программа обучения: в нее будет включено обучение по Data Science.

Лаборатория данных за счет демократизации доступа к данным и популяризации культуры работы с данными обеспечивает непрерывный процесс самостоятельной аналитики. Максимальную пользу данные приносят в тот момент, когда на их основе принимается какое-то ценное решение, продиктованное фактами, а не интуицией.

Подробнее о результатах работы Лаборатории данных Дана Бугумбаева (владелец продукта Лаборатория данных) и Анастасия Мерзликина (тимлид команды Лаборатория данных) рассказали на митапе. В том числе показали несколько примеров того, какие приложения создают self-service пользователи Qlik Sense («Мониторинг загрязнения теплообменников МНПЗ» и «Статус медсопровождения»):