Analytic Workspace: наш путь к self-service ETL

Новый подход к построению ETL-процессов в AW BI основан на создании особых программных ETL-блоков, или «блоков-декораторов». Такие блоки представляют собой управляющие скрипты, каждый из которых производит определенную операцию с данными таблицы. Библиотека декораторов доступна «из коробки», и пользователь может самостоятельно привести свои данные к необходимому виду без дополнительного программирования. Что такое ETL-блоки, как устроены, какие задачи можно решать с их помощью — в этой статье.

Модуль ETL в BI-системе, как известно, призван решать задачи подготовки данных — их очистки, обогащения, транформации и приведения к виду, пригодному для дальнейшей визуализации. В AW BI результатом работы ETL-модуля является базовая аналитическая таблица (Analytic Base Table, ABT), иначе называемая витриной данных. ABT затем используется для визуализации, машинного обучения или считывается другими сервисами (Рисунок 1).

Для эффективной работы ETL в единой связке с визуализацией в AW BI используется так называемая логическая модель данных. Это структура, которая осуществляет доставку метаданных в аналитическую таблицу и выполняет одновременно две функции:

• Дает информацию о правилах соединения данных из различных источников;
• Дает подсказки для блока визуализации о типах полей в итоговой ABT.

Базовый принцип работы логической модели данных наглядно представлен на рисунках 2 и 3. Так, схема модели на рисунке 2 показывает, что таблица, полученная при соединении таблиц «План» и «Факт», должна быть пополнена столбцами справочников «Номенклатура» и «Организация», а также двумя предварительно вычисленными столбцами «Громов. Партнеры» и «Громов. Подразделения».

Схема модели на рисунке 3 показывает, что таблица финансовых показателей должна быть дополнена снизу строками показателей продаж.

Таким образом, видим, что в логической модели указаны как сами используемые данные, так и необходимые действия над ними для получения аналитической таблицы.

Базовым элементом работы ETL-модуля в AW BI являются так называемые ETL-блоки или автоматические «блоки-декораторы». ETL-блок — это структура, состоящая из двух частей:

• Метаданные блока (хранятся в файле. json) :
• Заголовок блока: название, версия, автор; Описание параметров: что должен указать пользователь при размещении блока в модели.
• Программный код блока (хранятся в файле. py, используется язык Restricted Python с возможностью обращения только в разрешенные блоки системы)
• block_schema — определяет модификации схем вложенных в блок объектов. Block-schema получает на входе схемы всех низлежащих объектов и возвращает схему, которая получится на выходе из блока; block_data — задает правила, по которым итоговая таблица создается из входящих таблиц.

В структуру ETL-блока может также входить некоторое количество необязательных элементов, как например read. me или другая поясняющая информация. Кроме того, в ETL-блок могут быть включены справочники, прогностические модели машинного обучения.

SQL-блок — это ETL-блок, который позволяет выполнить любое SQL-выражение над частью логической модели. В параметрах SQL-блока записывается собственно SQL-выражение, которое пользователю предлагается ввести на этапе помещения этого блока в логическую модель.

Таким образом пользователю предоставляется возможность самостоятельно заложить необходимую трансформацию данных в модель уже на этапе ее формирования.

Так, на рисунке 4 вы видите схему части логической модели данных в AW BI. Здесь два вычисляемых поля, каждое из которых дообогащает итоговую АВТ определенными столбцами, рассчитываются независимо друг от друга и затем обрабатываются объединяющим SQL-блоком. Таким образом задается декларативное описание этой части модели, из которой явным образом следует последовательность вычислений.

Часто бывает ситуация, когда необходимо полностью или частично поменять местами столбцы и строки в таблице, либо повторить значения столбцов в строках — эта операция называется «Unpivot». Так, например, на рисунке 5 в исходной таблице нужно информацию о месяце в формате даты и сумме продаж в этом месяце разместить в строках для получения вида целевой таблицы.

С подобной задачей справляется ETL-блок «Unpivot», который имеет всего два задаваемых параметра:

• Название столбца, в который будет вставлена дата;
• Название столбца, в который будет вставлена сумма.

В остальном «Unpivot» действует автоматически: он перебирает схему вложенного объекта, находит значения, которые могут быть преобразованы в дату и записывает их строку «Месяц» и в следующую строку числом записывает соответствующую сумму продаж.

На рисунке 6 показано, как блок-декоратор «Unpivot» приводит таблицу к удобному для анализа виду.

Зачастую исходные таблицы, содержащие данные с вложенной иерархией, бывают записаны непригодным для анализа образом. Так например, на рисунке 7 в исходной таблице регион, город и магазины в городе записаны в виде строк, а иерархия указана в виде цифр в столбце «parent_id». Для целей анализа и визуализации удобнее преобразовать эти данные таким образом, что регионы, города и магазины будут записаны в отдельных столбцах, как в целевой таблице.

В ETL-блоке «Parent-Child» задаются параметры, которые указывают, какие столбцы являются атрибутами иерархии и соответствующий уровень иерархии.

На рисунке 8 показано, как блок-декоратор «Parent-Child» производит разворот иерархии загруженной таблицы, в результате чего данные предстают в пригодном для визуализации виде.

Эти примеры показывают применимость нашего подхода для решения задач автоматической обработки «грязных» данных. ETL-блоки — это кусочки программного кода, каждый из которых задает правила для той или иной операции с данными.

Комбинируя ETL-блоки на этапе формирования логической модели, пользователь по существу получает возможность полностью провести комплексные процессы очистки и обогащения данных без необходимости программирования. Разработка ETL-блоков представляет собой значительный шаг в развитии self-service ETL, позволяющий аналитикам самостоятельно выполнять все операции по обработке данных.

Разумеется, в различных BI-системах разработчики используют совершенно разные подходы к организации работы ETL-модуля. Какие плюсы мы видим в своем решении с внедрением ETL-блоков?

• Сохранение декларативности при создании моделей. ETL-блок простым и естественным образом встраивается в логическую модель при ее формировании, при этом механика внутри блока может быть весьма серьезной и кодировать сразу целый комплекс операций с данными;
• Легкая доставка блоков в конкретный экземпляр приложения. Поскольку ETL-блок представляет собой всего лишь комбинацию из двух файлов (Json и Python), то для их загрузки в приложение не нужно устанавливать специальные обновления либо совершать иные сложные действия;
• Фрактальность (самоподобие). Из небольшого количества простых ETL-блоков можно конструировать большие логические модели с неограниченным количеством уровней вложенности для решения самых сложных аналитических задач.
• Естественное погружение пользователей в работу с блоками. Это преимущество вытекает из предыдущего. Научившись работать ETL-блоками на простых моделях, пользователь естественным образом сможет использовать эту функциональность на больших и сложных моделях, что приближает нас к настоящему self-service ETL.

У нашего подхода к построению моделей через ETL-блоки имеется ограничение: мы не можем обращаться к данным в процессе формирования логической модели. Однако в реальных кейсах это ограничение оказывается не столь существенным, поскольку оно нивелируется на последующем этапе визуализации.

Сейчас в AW BI ведется активная работа по пополнению пакета встроенных ETL-блоков, и на конец 2023 года доступны следующие:

• SQL-блок;
• Вычисляемые поля;
• Генерация временной серии — позволяет сгенерировать столбец дат;
• Unpivot;
• Parent-Child иерархия;
• Обработка JSON значений — разворачивание значений их вложенных JSON объектов/массивов в строки или столбцы аналитической таблицы;
• Прогнозирование временного ряда — использование статистических методов предиктивной аналитики для предсказания «будущих» значений во временном ряду;
• Модель машинного обучения (ML) — использование методов машинного обучения для классификации/регрессии значений в строках (например, поиск аномальных значений, заполнение пропущенных значений и т. п.) ;
• Функция — позволяет проверить качество данных, убрать дубликаты или выполнить другую техническую операцию, не меняя вида исходной таблицы.

В AW BI наши планы на будущее включают расширение количества встроенных ETL-блоков, в том числе развитие функциональности ML-блоков, которые будут применять модели машинного обучения для расширения возможностей системы в области предиктивной и нестандартной аналитики. Мы уделяем особое внимание созданию этих блоков, чтобы уже в ближайших релизах предоставить пользователям возможность использовать машинное обучение для более точных прогнозов и более глубокого анализа данных.

Кроме того, мы предусматриваем возможность пользователям создавать собственные ETL-блоки, а также использовать публичный реестр или библиотеку ETL-блоков для обмена и расширения аналитических возможностей в BI-системе Analytic Workspace. Это позволит пользователям нашей системы обмениваться исходными кодами, предоставлять и использовать готовые ETL-блоки от других пользователей, а также создавать собственные наработки и делиться ими с сообществом. Этот подход способствует коллективному развитию и расширению функциональности AW BI благодаря активному взаимодействию и сотрудничеству пользователей.

Сайт Analytic Workspace: