Большое обновление платформы Luxms BI v 9.3

HTML-документация, календарные и оконные функции внутреннего языка, клонирование атласов и кубов, APi токены, фокус на удобстве использования и стабильности системы.

Одним из ключевых обновлений системы стала документация в формате HTML. Руководства, примеры, технические описания и другие документы о работе на платформе структурированы и находятся в одном месте, обеспечивая универсальный и удобный доступ к информации.

Реализован интегрированный поиск по всей базе знаний, позволяя пользователям мгновенно находить нужную информацию, тем самым облегчая ориентацию в функционале BI системы. Это снижает порог вхождения для новых пользователей, сокращает время на обучение, и упрощает работу на платформе.

Документация и обновления к ней распространяются и устанавливаются как стандартный пакет Linux – как и любой другой компонент платформы Luxms BI.

Долгожданным обновлением версии 9.3 стали календарные функции в LPE. Стандартные функции иногда могут быть неудобными в практических расчетах, например, определение прошедшего квартала, поэтому в новом релизе внедрен набор календарных функций, созданных для эффективной работы с временными промежутками, делая расчеты более простыми и удобными.

Календарные функции делятся на три основных блока:

Первый блок функций – «Алгебра с датами». Это набор календарных функций на языке LPE, разработанный для эффективных вычислений временных промежутков. Пользователи могут выполнять сложные операции с датами и временными интервалами так же, как и с числами в математических выражениях. В новом релизе представлены функции, которые позволяют удобно манипулировать датами, вычислять смещения, определять начало и конец интервалов.

Например, функция dateShift вычисляет новую дату на основе исходной, с учетом смещения и типа смещения (день, неделя, месяц, квартал, год). Это обеспечивает гибкость при работе с календарём и позволяет пользователям легко адаптировать данные к своим потребностям анализа.

Второй блок – «Функции, возвращающие целые числа», предоставляет инструменты для эффективной группировки дат и сравнений. Здесь представлены функции, которые возвращают характеристики даты, выраженные в целых числах, такие как номер дня года, номер недели года, месяца, квартала, полугодия и год.

К примеру, функция doty возвращает день года в виде целого числа (Day Of The Year), что может быть полезным при анализе сезонных трендов или работы со сроками, связанными с конкретными днями в году. Аналогично, функции woty, moty, qoty, hoty предоставляют информацию о номере недели, месяца, квартала и полугодия соответственно.

Третий блок – «Функции, возвращающие строку в формате ISO», представляет собой инструментарий для работы с датами в соответствии с ISO 8601. Стандарт обеспечивает унифицированный формат представления дат и времени, что облегчает обмен информацией и обеспечивает стандартизированный подход к работе с датами. Функции в этом блоке возвращают строковые представления дат в формате ISO. Например, isod(dt) возвращает день года по стандарту ISO 8601 в виде строки, а isow(dt) – неделю года в соответствии с тем же стандартом.

На данный момент функции предлагают высокую гранулярность, охватывая временные интервалы с точностью до дней. Следующий шаг – работа с часами, минутами и секундами для большей гибкости и точности при анализе данных в разрезе времени.

В релизе 9.3 появились оконные функции, позволяющее делать вычисления с учётом данных в соседних строках (окнах). Оконные функции позволяют вычислять нарастающий итог, сравнивать данные за разные периоды, производить ранжирование строк и многое другое. Наша реализация повторяет функционал оконных функций из SQL и поддерживает блоки партицирования (группировки) и сортировки данных в окне. В следующих версиях будет добавлена поддержка указания границ окна.

Появились новые агрегационные функции: uniq, quantile, total. Функция Total позволяет вычислять общие агрегаты по всем данным из куба. Это дает возможность легко посчитать доли относительно общей суммы или общего количества. В следующих версиях функционал функции total будет расширен путём добавления фильтров, что позволит вычислять итог с учётом условий. Функция uniq – короткая запись для подсчёта уникального количества строк, а функция quantile вычисляет квантиль.

Появилась возможность клонирования атласов и кубов — важный инструмент для удобства разработки. Эта функция позволяет пользователям ускорить процесс изучения платформы, быстрее анализировать разработки других пользователей BI и создавать уникальные приложения на основе чужого опыта, заимствуя заинтересовавшие пользователя элементы в свою «песочницу». Также это дает возможность переиспользовать свои разработки в разных приложениях. Клонирование объектов реализовано с учетом сложных сценариев ролевой модели и соблюдением всех аспектов безопасности.

В новом релизе появились API-токены (JSON Web Token). Токены представляют собой ключи для безопасного и управляемого доступа к различным функциям Luxms BI через программный интерфейс API. Они дают возможность создавать уникальные ключи, которые используются для авторизации запросов к системе.

Администраторы могут самостоятельно создавать токены через интерфейс системы, а также управлять ими, проверять права доступа и отслеживать статус токенов. Каждый токен уникален и настраивается под конкретные потребности пользователя, это гарантирует безопасность данных.

Подробную информацию о создании и использовании API-токенов можно найти в обновленной HTML документации.

В новой версии расширились возможности встроенного ETL/ELT инструмента Luxms Data Boring. Он предоставляет возможность многопользовательской работы, обеспечивая эффективное разделение данных и повышенный уровень безопасности.

Каждый пользователь теперь работает в своей изолированной виртуальной среде, где потоки, оперативная память и процессы абсолютно не пересекаются с другими пользователями. Отдельное хранилище данных, настройки и узлы создаются для каждого пользователя индивидуально, и это гарантирует высокий уровень безопасности и эффективное управление данными. Это особенно важно в ситуациях, когда необходима поддержка нескольких клиентов или проектов на одном сервере Data Boring. Многопользовательский доступ также позволяет администратору системы использовать аккаунты пользователей для управления их потоками, не переходя в их учетные записи.

Data Boring предоставляет каждому пользователю индивидуальный доступ к данным мониторинга. Система следит за всеми процессами подсистем и потоков, которые запущены в данный момент, и помогает оперативно выявлять и реагировать на потенциальные проблемы. Пользователь может просматривать статистику и получать отчеты о производительности и использовании ресурсов. Журнал, помимо истории изменений, отображает важную информацию – ошибки, предупреждения, обновления и другие аспекты работы системы. Пользователь в любой момент может вернуться к предыдущим состояниям системы, выбрав конкретный момент из журнала, что обеспечивает безопасность в случае системных сбоев, а также гибкость и контроль в управлении данными и процессами.

Добавлены улучшения в работе с многостраничными xlsx-файлами. Теперь есть возможность указывать листы в xlsx-файлах как по их имени, так и по порядковому номеру. Это упрощает выбор нужного листа для работы с данными. Добавлена возможность указания номера строки с заголовками и номера строки с данными, что обеспечивает более гибкий и точный анализ многостраничных xlsx-файлов.

В релиз 9.3 вошло несколько UI-UX улучшений. Например, теперь при написании запроса в текстовом редакторе SQL система выводит подсказки, а ключевые слова для удобства выделяются цветом. Изменен интерфейс сводной таблицы и добавился экран помощи при написании формул для фактов. Все для того, чтобы работать на платформе было проще и удобнее.

У пользователей появилась возможность загружать собственные визели в формате zip-архива. Кастомные визуализации отображаются на панели выбора виджета среди стандартных вариантов, и доступны для дальнейшей работы.

Расширился функционал внутреннего языка LPE. Так, в редактор дэшлетов добавлен конструктор LPE выражений для реакций по клику в элементах интерфейса, а также появилась возможность писать LPE-выражения для заголовков дэшлета.