Кейс ФРП - кастомизация BI-решения для аналитики данных по проектам и инициативам для платформы ГИСП
ГИСП — это цифровая платформа Минпромторга России, оператор которой - Фонд развития промышленности (ФРП).
Платформа представляет собой единое цифровое пространство, где взаимодействуют государство и промышленные предприятия со всех регионов России: более 2400 мер поддержки, больше 150 цифровых сервисов для предприятий и около 1,5 млн позиций в каталоге продукции.
Конечно же, такая крупная структура требует детальной аналитики и профессиональных инструментов.
Ситуация до и после
До обращения к команде Modus в ГИСП дела обстояли так:
- Возникновение различных трудностей при подключении новых информационных сервисов в ETL;
- Сложная настройка процесса получения данных (с разрозненной настройкой правила разбора данных json, правила выгрузки, состава выгрузки и пакета обработки данных);
- Необходимость настройки cценариев обработки данных для работы с объектами, содержащими значения, которые требуют дополнительной трансформации;
- Медленное отображение результатов в тех отчетах, где в наборах данных используется большое количество записей;
- Каждый раз при создании нового отчета аналитику приходилось настраивать заново все его визуальные элементы в ручном режиме.
После наших работ:
- Процесс настройки таблицы стал занимать 15-30 минут. Мастер интеграции упростил схему подключения нового источника до пошагового сценария;
- Повысилось быстродействие благодаря новой двухуровневой СУБД. Если раньше отчет открывался, в среднем, за 20 секунд, то теперь скорость выросла более, чем в пять раз;
- Клиент избавился от потребности в сторонних разработчиках. Все изменения или настройки теперь носят нативный характер и создаются по ходу работы.
Над кастомизацией решений Modus BI и Modus ETL под нужды ФРП работала не только наша команда, но и команда интегратора BST. Мы ускоряли процесс подключения объектов в ETL, облегчали процесс трансформации данных, получаемых через API, и упрощали создание новых отчетов на Аналитическом портале. Эксперты BST разворачивали двухуровневое хранилище (на базе PostgreSQL и ClickHouse).
Запросы клиента
Ранее ГИСП с Modus BI и Modus ETL уже работал — суть вопроса заключалась в точечной кастомизации решения и его апгрейде под конкретные задачи. Требования были такими:
- Снизить трудозатраты аналитиков при получении данных из информационных сервисов (ИС).
- Упростить процесс подключения объектов в ETL по ряду ИС: «Витрины данных из Государственной информационной системы промышленности (ГИСП)», «Платформы автоматизации нетиповых мер поддержки» и «Подсистемы управления бизнес-процессами» комплекса «Конструктор сервисов ГИСП».
- Облегчить трансформацию данных, получаемых через API из ГИСП, с целью их подготовки к визуализации на Аналитическом портале с помощью Low-Code инструментов.
- Упростить процесс создания новых отчетов в аналитическом портале, взяв за основу типовые решения.
Все запросы мы закрыли уникальными надстройками — единым рабочим местом аналитика в ETL, драйверами Мастера интеграции, преднастроенными шаблонами и Мастером настройки типового отчета на аналитическом портале соответственно.
Ход проекта
На реализацию проекта ушел год.
Около 6 месяцев заняла методологическая работа - мы собирали требования и составляли ТЗ, прописывали структуру будущей системы и конструировали пошаговое руководство по решению задач, предложенных заказчиком. Затем приступили к разработке, и затем вносили мелкие правки.
Команда поделила проект на четыре блока: по созданию Мастера интеграции, разработке двухуровневой СУБД, настройке нового типового отчета на Аналитическом портале и кастомизации всех визуальных компонентов под UI-KIT заказчика.
1. Создание специальных драйверов для Мастера интеграции
Сотрудники Фонда развития промышленности работают со сложными информационными сервисами, откуда нужно извлекать данные на регулярной основе. Этот процесс трудоемкий и долгий (в том числе из-за огромного количества элементов-объектов). Для его упрощения команда Modus разработала специальные драйверы для Мастера интеграции.
Мастер интеграции — это инструмент ETL, представляющий собой рабочее место аналитика данных. С его помощью аналитик управляет процессом получения информации из информационных сервисов, видит доступные в них объекты и настраивает всю цепочку получения данных через единое окно.
Внедрив Мастер интеграции, мы разработали драйверы для его интеграции с сервисами ГИСПа. Это решило ряд ключевых задач:
- Возникновение трудностей при подключении информационных сервисов — тех, что связаны с получением данных через API, особенностями аутентификации или сложностью API.
- Необходимость детального изучения документации по описаниям методов и команд API при подключении в ETL новых информационных сервисов.
- Отсутствие возможности увидеть все доступные объекты данных в периметре информационного сервиса с опцией управлениями ими через единое окно.
- Продолжительность подключения новых объектов данных из ИС по мере возникновения потребностей в построении аналитики. При этом специалистам приходилось каждый раз вспоминать и заново погружаться в особенности работы с определенным сервисом.
Мастер интеграции работает как некий буфер, в котором можно быстро и просто написать драйвер для взаимодействия с определенным информационным сервисом. В случае с ФРП — с витринами данных ГИСП, платформами автоматизации нетиповых мер поддержки и подсистемами управления бизнес-процессами из комплекса «Конструктор сервисов ГИСП».
Мастер интеграции упростил схему подключения нового источника до пошагового сценария, за счет чего создание новых таблиц стало занимать 15-30 минут (в зависимости от сложности).
2. Создание гибридного хранилища
Заказчик пользовался хранилищем данных, развернутым на основе строковой СУБД — PostgreSQL. При его использовании у сотрудников возникали некоторые затруднения: медленное отображение результатов в наборах данных с большим количеством записей, длительное осуществление SQL-запросов внутри вычисляемых полей аналитического портала и пр.
Команда Modus предложила ФРП настроить двухуровневое хранилище: оставить ту же СУБД PostgreSQL в качестве первого слоя данных, но дополнить ее колоночной базой.
В качестве второго слоя выбрали ClickHouse. Эта СУБД соответствовала всем требованиям в плане производительности аналитических запросов, масштабируемости и отказоустойчивости. Ее разворачивал интегратор BST, а основная задача экспертов Modus заключалась в облегчении работы по обеспечению двухуровневой структуры хранилища базы данных.
В результате скорость работы выросла больше, чем в 5 раз: если раньше отчет открывался 20-24 секунд, то сейчас 4-5.
3. Настройка нового типового отчета на Аналитическом портале
Важная задача аналитика данных в ФРП — построение новых отчетов на основании информации из сервисов ГИСП и других источников. Раньше экспертам, отвечавшим за создание аналитических панелей, приходилось каждый раз заново настраивать все визуальные элементы отчетов. Даже при использовании шаблонов на перестройку под определенные наборы данных уходило много времени.
Команда Modus разработала Мастер настройки типового отчета на аналитическом портале. Инструмент устранил задачи по ручной перенастройке всех элементов аналитических панелей с размещением необходимых полей на полках «Значений», «Категорий», «Фильтров», «Серий» и пр. С его помощью можно настроить соответствие между типовыми, целевыми наборами данных и их полями.
Фактически мы дали возможность превратить часть отчетов в шаблоны, которые можно использовать для создания других аналитических панелей.
Раньше приходилось каждую визуализацию в отчете перестраивать вручную (2-4 часа в зависимости от сложности отчета и количества визуализаций в отчете). Сейчас это делается за 5-25 минут в зависимости от наличия вычисляемых полей в визуализациях. То есть, экономия времени в 10-15 раз.
4. Внедрение новых визуальных компонентов и библиотек
Заказчик хотел, чтобы решение соответствовало современному UI-киту ГИСП на все сто процентов. Это было серьезное требование, которое заставило команду кастомизировать множество визуальных компонентов.
Сотрудники ФРП подготовили дизайн-макет — ориентир, на который мы опирались при переоформлении фронтенда уже существующих визуализаций. В ТЗ были обозначены пункты, посвященные малейшим деталям: фону всего дашборда, внешнему виду фильтров, стилям оформления контейнеров и кнопок, элементам круговой диаграммы и пр.
Команда работала над редизайном текущих визуальных компонентов за одним исключением. Речь идет о новой визуализации — TreeMap. К нему также добавили опцию редактирования стилей с учетом цветов, шрифтов и настроек скругления для всех элементов.
«Благодарны команде Modus за активное участие в проекте. Перед коллегами стояли интересные задачи по развитию ранее созданного в ГИСП решения. По итогам реализации проекта мы получили актуальные инструменты по работе с данными и повысили свои знания в предметной области. Это позволило нам профессионально и оперативно реагировать на вызовы в постоянно меняющихся условиях, а также предоставлять качественную аналитику по курируемым направлениям.»
«Проект Фонда развития промышленности был не столько сложным, сколько интересным. Потому что команда работала над созданием новых решений — от Мастера интеграции до замены наборов данных, которые стали интересным дополнением к нашей системе».