Qlik

«Я в магазин, за данными»: Газпром Нефть запустила Лабораторию данных

В Газпром Нефть запустили экосистему для самостоятельного анализа данных для всех сотрудников компании.

Предпосылки создания лаборатории данных

Техническая готовность

Внедрение BI-аналитики в блоке Логистики, переработки и сбыта стартовало в 2016 году. За пять лет командой BI было создано 120 аналитических приложений Qlik, которыми ежедневно пользуются около 4000 сотрудников.

В 2019 году в Газпром Нефти появилась новая функция управления данными – помимо аналитики, в компании началось развитие направлений интеграции и поставки данных, качества данных, архитектуры данных, метаданных и НСИ.

К концу 2020 года к единому Хранилищу данных (на базе Informatica IPC) было подключено уже 40 информационных систем с автоматическим мониторингом качества данных (Informatica Data Quality). Часть данных структурировали и занесли в Бизнес-глоссарии, единой модели данных и паспортах показателей.

Развитие культуры работы с данными

Каждый сотрудник компании сегодня может пройти обучение теории и практике управления данными. Доступность таких курсов развивает культуру работы с данными.

К концу 2020 года в компании обучили 700 сотрудников, среди которых появились бизнес-чемпионы, которые самостоятельно решают аналитические задачи с использованием BI-инструментов.

Закономерным этапом развития Системы управления данными, и в частности, аналитики стало создание в ноябре 2020 Лаборатории данных, предоставляющей для всех сотрудников Газпром Нефть возможность самостоятельно создавать BI-приложения и анализировать данные для решения повседневных задач по обработке, визуализации и исследованию данных.

Новый подход к самостоятельному анализу данных

Концептуально, Лаборатория данных базируется на 3 компонентах: Данные, Инструменты, Компетенции.

В рамках продукта:

  • Обеспечивается простой и удобный доступ к качественным данным из информационных систем через Магазин данных
  • Предоставляются аналитические инструменты для работы с данными
  • Проводятся регулярные обучения пользователей с целью развития компетенций по анализу данных и работе с аналитическими инструментами

Основная миссия Лаборатории данных: предоставление всех необходимых компонентов для эффективных и оптимальных решений разнообразных аналитических задач Компании.

Раньше, если у сотрудника появлялась задача по анализу данных, то большую часть времени он тратил на поиск нужных данных, получение доступа к ним, их обработку и подготовку для последующего анализа. Появление Лаборатории данных упрощает этот процесс.

Однако, перед тем, как познакомить сотрудника с Лабораторией, в компании проводят онбординг – новому пользователю показывают возможности системы, знакомят с процессом работы, предлагаю пройти обучающие курсы по BI-инструментам.

Сценарий работы с Лабораторией данных

Путь к самостоятельному анализу данных с помощью Лаборатории данных в Газпром Нефть выглядит так:

  1. На старте работ в Лаборатории данных сотрудник изучает обучающий видео-ролик по правилам работы с Лабораторией и знакомится с возможностями продукта.

  2. Проходит несколько практических онлайн-курсов по анализу данных и работе с BI-инструментами.
  3. В Магазине данных находит необходимые данные для своей задачи и запрашивает к ним доступ. В Магазине данных собраны те данные из информационных систем компании, которые прошли предварительную обработку и проверку по качеству, а также приведены к внутренним стандартам компании. Это данные уже полностью готовые для анализа. Доступ к ним осуществляется в соответствии с ролевой доменной моделью и технически реализуется на базе Единой системы управления доступами в Компании.
  4. При выборе датасета в Магазине (и при условии наличия к нему доступа) автоматически совершается переход в аналитическую платформу Qlik Sense, где в рабочей области сотрудника создается новое приложение с уже загруженными данными из Магазина. Все что остается сделать – это визуализировать данные для последующего анализа. При возникновении трудностей с созданием аналитических приложений сотрудник может обратиться за помощью и технической консультацией на сервис Лаборатории данных.

  5. Готовым приложением сотрудник может поделиться с коллегами, опубликовав приложение в личном потоке и предоставив к нему доступ.

В процессе решения своей прикладной задачи сотрудник постепенно наращивает компетенции по анализу данных и работе с аналитическим инструментом Qlik Sense – все функциональные возможности аналитики встроены в эту систему. А компания постепенно переходит от ручной подготовки отчетов и пересылки аналитических материалов по почте в Лабораторию данных.

Таким образом, Лаборатория данных как единое пространство для анализа и работы с данными исключает необходимость как ручной подготовки данных, так и пересылки статичных отчетов и презентаций по почте, используя вместо этого средства интерактивного визуального анализа в Qlik Sense.

Итоги Лаборатории данных

Почти за год работы Лабораторией данных воспользовались 1370 сотрудников Компании. Большая часть из них прошла обучение и приступила к самостоятельному решению задач по анализу данных.

1370
сотрудников воспользовалось Лабораторией данных за год

Но основным ключевым показателем успешности Лаборатории данных является количество решенных аналитических задач и количество разработанных BI-приложений. На текущий момент, с помощью Лаборатории данных реализовано около 30 бизнес-кейсов – это самостоятельная работа представителей бизнес-подразделений Газпром нефти.

В 4 квартале 2021 году в Лаборатории данных запланировано подключение Платформы искусственного интеллекта (Jupyter + Python) для решения аналитических задач с более сложными алгоритмами, например, в области Машинного обучения. Также c целью реализации продвинутых аналитических задач будет расширена программа обучения: в нее будет включено обучение по Data Science.

Лаборатория данных за счет демократизации доступа к данным и популяризации культуры работы с данными обеспечивает непрерывный процесс самостоятельной аналитики. Максимальную пользу данные приносят в тот момент, когда на их основе принимается какое-то ценное решение, продиктованное фактами, а не интуицией.

Подробнее о результатах работы Лаборатории данных Дана Бугумбаева (владелец продукта Лаборатория данных) и Анастасия Мерзликина (тимлид команды Лаборатория данных) рассказали на митапе. В том числе показали несколько примеров того, какие приложения создают self-service пользователи Qlik Sense («Мониторинг загрязнения теплообменников МНПЗ» и «Статус медсопровождения»):

0
1 комментарий
Популярные
По порядку

Неплохо
Я слышал вакансии висели на хх в команду, занимавшуюся разработкой этого продукта, но ни одно резюме от кандидата посмотрено не было
К вам в команду можно попасть?

0
Читать все 1 комментарий
«Яндекс» попросил ЦБ «принять меры» из-за фальшивого сайта «Яндекс-банка» Статьи редакции

Домен зарегистрировало частное лицо на следующий день после объявления о переименовании «Акрополя».

Яндекс такси не проставил статус золото водителю

Не первый год регулярно беру машину в аренду

И вот снова Яндекс веселит

Выполнил за ноябрь план по баллам на золото, а присвоили серебро, при этом поддержка говорит, что все так и должно быть и изменить невозможно

Илон Маск отправил сотрудникам письмо о риске банкротства SpaceX из-за медленного производства двигателей — CNBC Статьи редакции

Компании нужно ускориться, чтобы запускать ракеты минимум раз в две недели в 2022 году, написал Маск.

Корпоративный проект в Казахстане

Юридическая фирма «Надмитов, Иванов и Партнеры» успешно представляла интересы приобретателя по сделке приобретения 100% долей в уставном капитале общества, крупного производителя битумных материалов в Казахстане, регулируемой по российскому праву.

Kornia - Python библиотека для обработки изображений в задачах CV

В этой статье я хотел бы познакомить читателей с библиотекой для ЯП python — Kornia, имеющей богатый функционал в области computer vision. Библиотека написана с использованием pytorch, в ее основе лежат готовые решения, такие как torchvision, PIL, skimage, tf.image, OpenCV. В Kornia реализована возможность выполнения вычислений не только с…

Онлайн-санаторий для сотрудников: как помочь команде справиться с выгоранием

Чтобы поддержать команду, мы собрали эффективные инструменты для борьбы с эмоциональным выгоранием и объединили их в стенах виртуального санатория «Источник». Рассказываем, как пришли к созданию собственной экосистемы для поддержки сотрудников, и почему это действительно важно.

Эксперимент: оформляем банковские карты без бумажных документов

Оформление затянулось, но проект все равно продолжили развивать.

На сайтах с эквайрингом от ПСБ появился Yandex Pay

Покупатели с аккаунтом «Яндекса» смогут оплачивать покупки, не вводя данные карты.

Бакальчук резко ответила на жалобы продавцов Wildberries во время сессии форума "Россия зовет"
null