Генерация приложений “по требованию” (ODAG) в QlikSense

Предположим, нужно настроить обновление данных в приложении QlikSense по определенным ИНН, чтобы в таблицах и графиках отображались нужные данные. Для этого в QlikSense есть инструмент variableinput (представлен на рисунке ниже и находится в ‘пользовательских объектах’) – в поле вводится нужный ИНН и данные обновляются. Минусом данного инструмента является то, что можно ввести только одно значение. Но что, если хочется отобразить данные по нескольким ИНН?

Если данных очень много, грузить их в одно приложение будет нецелесообразно, так как загрузка займет большое количество времени и оборудование может не иметь возможности обработать весь массив данных (например, когда загружаемые данные не помещаются в оперативную память и сложность расчетов в приложении ‘убивает’ интерактивность). Лучшим решением будет разбить эти данные на несколько приложений, но как связать их, чтобы при наложении фильтров или изменении одного приложения, другие приложения также обновлялись, при этом сохранив за пользователем возможности самому выбирать с какой частью данных ему нужно работать? Именно для этих целей разработчиками QlikSense был придуман ODAG (on—demand app generation). Этот инструмент похож на поход в магазин – пользователь сам наполняет приложение-шаблон необходимым блоками данных: определенным периодом времени, сегментом покупателей, ассортиментом, географией и т.д, а затем этот набор данных загружается в оперативную память и пользователь ведет привычную аналитику в QlikSense.

Генерация приложений по требованию (ODAG) — это подход, представленный в QlikSense 3.0 для создания приложений для очень больших или часто меняющихся наборов данных.

Метод ODAG обеспечивает простой способ создания приложений, содержащих фрагменты данных из очень большого набора, без необходимости загружать всю информацию в память в QlikSense. После того, как пользователь сделал свой выбор и отфильтровал данные до более приемлемого размера, указанного Qlik developers / IT, пользователю разрешается создать приложение по требованию. Результирующие “подробные“ или “дочерние” (template app) приложения перезагружаются, пока пользователь ожидает предоставления полного набора данных по ограниченному набору строк.

Приложение по требованию основано на предопределенном сценарии и наборе таблиц (информационных панелей), называемых шаблонным приложением. При создании приложения по требованию Qlik проходит через состояние выбора, которое создает соответствующее предложение WHERE для фильтрации хранилища больших данных в меньшее подмножество данных.

Основными компонентами ODAG являются:

Расскажу о структуре ODAG подробнее:

После первого представления об ODAG расскажу, как создавать данное приложение на примере выполнения задачи по миграции данных сотрудников организации на платформу Greenplum, с последующей визуализацией на QlikSense. При реализации миграции было создано несколько отдельных таблиц на GreenPlum c данными по разным сферам деятельности сотрудников:

— описание дисциплинарных взысканий

— кредитов

— транзакций

— переводов

Если все данные сохранять в одну таблицу, то при их загрузке в QlikSense будет затрачено много времени на их обработку и загрузку. Также, при попытке создать отдельные приложения по каждому разделу, столкнулся с той же проблемой, так как данных по транзакциям и переводам много, их отдельная загрузка займет много времени и ресурсов. Поэтому для создания пользовательского интерфейса на QlikSense для данной задачи было принято решение использовать возможности ODAG-приложений.

Создание интерфейса для работы с данными по сотрудникам организации при помощи ODAG-приложения

Для начала работы с ODAG, необходимо его включить в QMC (Qlik Management Console).

2. В разделе УПРАВЛЕНИЕ РЕСУРСАМИ (MANAGE RESOURCES), найти опцию включения службы приложений по требованию

3. Нажать галочку напротив поля Enable on-demand app service. Также здесь можно настроить количество одновременно генерируемых приложений, количество дней до очистки ‘исторических данных’ и т.д.

После настройки QlikSense перехожу к созданию приложения. Для этого нужно выполнить следующие шаги:

Шаг 1 – создание selection app

Для начала работы с ODAG первым делом было создано основное приложение или приложение для фильтрации:

Приложение для фильтрации (Selection App): это приложение наполняется данными измерений и объектами визуализации, обеспечивающими работу с данными на высоком уровне агрегирования. В этом приложении пользователи выбирают данные для последующего углубленного анализа. И сразу совет по пользовательскому интерфейсу – в приложении нужно предусмотреть поля (счетчики записей), позволяющие оценивать объем данных, загружаемый в приложение (благодаря этому вы сможете установить лимит на количество строк данных загружаемых в приложение)

Создание нового приложения начинается из рабочей области пользователя при нажатии на кнопку “Создать новое приложение”, после чего откроется окно, где нужно ввести название и нажать кнопку создать. Обычно, в названии приложения ODAG ставится пометка о том, какое это приложение – selection app или template app.

После успешного создания приложения пользователь попадает на страницу для загрузки данных. Если информация для selection app берется из QVD (формат хранения данных для QlikSense) или Excel-файла, то они загружаются через “Диспетчер данных”. В моем случае происходит подключение к базе данных, поэтому нужно использовать “Редактор загрузки данных”.

Далее при создании selection app я провел стандартное подключение к базе (PostgreSQL – в правой части рисунка), выбрал нужную мне схему, таблицу и загрузил данные в созданное приложение – для этого нужно “Вставить скрипт” и нажать кнопку “Загрузить данные”. Стоит уточнить, что предварительно на GreenPlum была создана сводная таблица по данным для удобной фильтрации и дальнейшей генерации template-приложений. Данная таблица включает 12 тысяч записей и содержит основные данные по сотрудникам организации, которые могут пригодиться для фильтрации. Это единственная таблица, которая загружается полностью, поэтому нужно учитывать, какое количество данных в ней содержится.

Далее я создал обычное приложение для визуализации – для этого перешел на вкладку “ЛИСТ”.

Для отображения информации использовал инструмент “фильтр” и “таблица”, чтобы пользователям было удобно работать с аналитикой (данные инструменты находятся слева в поле “Диаграммы”). Чтобы пользоваться этими инструментами необходимо переместить их в рабочую область листа и выбрать нужное поле из таблицы, по которому нужна фильтрация.

Также можно отдельно вывести количество строк, чтобы при наложении фильтров следить сколько данных остается. Это может пригодиться, если ставить лимит на количество данных в template-приложении (для моей задачи это не понадобилось). Для этого нужно воспользоваться инструментом ‘Ключевой показатель’, в котором прописывается формула подсчета количества строк.

На рисунке ниже представлен пример таблицы, фильтров и ключевого показателя.

Шаг 2 – создание template приложения/ий

Шаблон приложения для анализа данных (App Template): в нём размещается предварительно подготовленный сценарий загрузки (скрипт), в который автоматически попадут отборы данных пользователя, сделанные им в приложении Selections App. В целом, при загрузке данных для template приложения нужно повторить те же шаги, как и для selection app. К дизайну приложения никаких комментариев тут нет – необходимо делать все, как обычно, чтобы пользователям было удобно работать с аналитикой.

В моей задаче необходимо было создать отдельное template приложение по транзакциям сотрудников организации. Грузить все данные из таблицы по транзакциям на GreenPlum, а их порядка 240 млн, нецелесообразно. Но какое-либо количество данных загрузить необходимо, чтобы проверить правильность работы ODAG-приложения, поэтому в редакторе загрузки данных изначально прописал limit 1000. Загрузка таблицы из базы на GreenPlum проводится также, как и для selection app, отличие только в ограничении кол-ва загружаемых строк. После первичной загрузки я закомментировал ограничение на кол-во загружаемых строк.

Важным условием при загрузке данных для template app является условие where – по данному условию данные будут отфильтровываться и загружаться только нужные (рисунок выше). В моем приложении фильтрация проводилась по табельному номеру сотрудника tab_num. Для связи selection app и template app была создана переменная vTabNum, которая по сути принимает в себя все выбранные значения в виде списка из selection app. Стоит уточнить, что синтаксис для связывающей переменной следующий:

Set – функция создания переменной;

vTabNum – название переменной;

$ — обозначение ссылки на данные;

odag_ — указание, что переменная используется в ODAG- приложении;

tab_num – название поля, по которому проводится фильтрация, т.е. это название колонки в selection app. Если бы в основном приложении поле называлось num_tab, тогда в template app нужно было бы прописать $(odag_num_tab).

Созданную переменную я использовал в условии where, таким образом выбранные в selection app табельные номера подставляются на место этой переменной и происходит загрузка данных в template приложение на основе заданного условия.

Также отмечу, что можно создавать несколько связующих переменных, например, если бы нужно было проводить фильтрацию по ИНН сотрудников, то можно создать еще одну переменную и добавить её в условие where.

Шаг 3 – настройка связи между selection app и template app.

После создания нужных приложений остается только связать их. Для этого я вновь перешел в основное приложение. Нужен был функционал ‘ссылки навигации приложения’, который находится в левом окне при нажатии кнопки ‘изменить лист’.

При нажатии кнопки создать, мне открылось следующее окно:

Подробно пройдусь по каждому полю в данном окне:

Имя – это название вашего ODAG-приложения;

Приложение шаблона – в ней, в выпадающем окне можно увидеть созданные template приложения, необходимо выбрать нужное, в моем случае оно называлось Транзакции (template app);

Выражение – действие, которое нужно выполнять при создании приложения, в моем случае, я считал количество строк, которые попадают в template приложение;

Максимальное количество – можно указать сколько template приложений можно создать по данному разделу;

Срок хранения – можно указать сколько по времени будут храниться analysis приложения, можно выбрать дни или часы;

Представление при открытии по умолчанию – в каком виде будет представлено приложение при открытии;

Опубликовать в – место где публикуется в приложении, можно в рабочей области, можно публиковать сразу в нужный поток.

При заполнении всех полей настройки сохраняются и можно увидеть слева появившуюся ссылку на template приложение (можно увидеть на рисунке выше).

Затем в режиме изменения листа в selection app переносим появившуюся ссылку на лист, таким образом появится template приложение и связь будет налажена.

Шаг 4 – использование приложения

Использование приложения начинается с selection app. В нем выбираем необходимые данные при помощи фильтров. Допустим, что поставили фильтры по количеству действующих кредитов у сотрудника, получил 5 строк, подходящих под данные условия и я хочу посмотреть по ним данные по транзакциям или переводам.

Для этого внизу есть ссылки на создание template приложений, я нажимаю на нужное мне, в данном случае транзакции. Уточню, что если template приложение готово к созданию, то оно будет гореть зеленым, если нет, то возможно, что на данное приложение наложены определенные правила создания, например, нужно выбрать фильтр по определенному полю, либо кол-во строк превышает установленный лимит (разработчик приложения поставил ограничение в 100000 строк, однако у пользователя при наложении фильтров получилось больше).

При выборе нужного template приложения открывается следующее окно, в котором нужно нажать кнопку “создать новое приложение”, в это время выполняется скрипт, написанный в template приложении и данные загружаются, вместо 240 млн будут загружены нужные 5 строк:

Далее можно увидеть, что template приложение создано и перейти в него для дальнейшего анализа, нажав на 3 точки или ‘окна’. Также новое template приложение появляется в рабочей области или потоке, в зависимости от настройки.

Таким образом строятся ODAG-приложения. Если мне или другому пользователю требуется любой другой срез данных или другие приложения, то он просто повторяет шаги 2-5.

Особенности построения selection app

Скрипт приложения для отбора данных (Selection App) должен загружать достаточно данных, чтобы пользователи могли делать выборки в требуемых им полях и при этом понимать, сколько данных они получат в сгенерированном (детальном) приложении.

Таким образом, с точки зрения интерфейса вам нужны лишь объекты, позволяющие «отфильтровать» требуемые данные и индикатор, который показывает, сколько еще строк данных пользователь может выбрать, чтобы сгенерировать приложение по ODAG (и не выйти при этом за ограничения по объему данных).

При этом ограничения на объем данных в сгенерированном по ODAG приложении можно выставлять очень гибко. Так, можно наложить условие на количество выборок, например, разрешать пользователям выбирать до 5 продуктовых категорий.

Заключение

В заключение расскажу о преимуществах и особенностях, которые выделил при создании и пользовании приложением ODAG.

Плюсы:

Особенности ODAG:

Итак, ODAG помогает оптимизировать работу с данными путем уменьшения загружаемых данных. Также он удобен для работы с большим объемом данных, визуализации и анализа нужных разделов данных и выборочного извлечения данных по различным признакам.