Миграция с Qlik на китайскую платформу для визуализации и анализа данных FineBI
В связи с ограничениями законодательства проекты миграции на отечественные платформы бизнес-аналитики набирают обороты. Российские разработчики предлагают широкий выбор BI-платформ для импортозамещения, но не все из них хорошо проработаны в части функциональности.
Возникает вопрос: существует ли все еще возможность использовать надежную зарубежную платформу, которая бы отвечала потребностям бизнеса и предоставляла функциональность и производительность для решения разнообразных задач?
Такую возможность предоставляет один из доступных сегодня на российском рынке продуктов для бизнес-аналитики – китайская платформа FineBI.
FineBI – флагманская self-service платформа для бизнес-аналитики китайского разработчика FanRuan. Продукт предлагает функциональность, удобство использования, широкие возможности масштабирования и легкую интеграцию с различными источниками данных.
FineBI зарекомендовала себя среди лидеров ритейла, финансового сектора, промышленности и используется такими компаниями, как Huawei, Alibaba, Bosch, Panasonic, Московский кредитный банк, Сбер Страхование, Циан, Теле2 и другими.
Концептуально и с точки зрения интерфейса FineBI чаще всего сравнивают с Tableau. Но платформа не уступает в своей функциональности и производительности другим ушедшим платформам, Power BI и Qlik.
В статье описываем опыт быстрой миграции с Qlik на FineBI и подробно рассказываем о преимуществах FineBI, которые способствовали легкому переносу дашбордов на новую платформу.
Реальный опыт Qlever Solutions в миграции с Qlik на FineBI
Рассмотрим возможности миграции из Qlik Sense в FineBI на примере переноса дашборда эффективности ресторанной сети и PnL-отчета.
Первым этапом миграции стал предрасчет данных, так как модель данных, используемая в Qlik, не подходит для реализации в FineBI с архитектурной точки зрения. Исходные фактовые таблицы были объединены в две таблицы на 7ГБ и подготовлены к дальнейшей выгрузке.
Следующим этапом стала выгрузка QVD-файлов с данными из Qlik Sense и их загрузка в СУБД ClickHouse. Задача выполнялась при помощи конвертера QvDB-Qlever, собственной разработки нашей команды.
Конвертер QvDB-Qlever переводит файлы из формата .qvd в данные для СУБД PostgreSQL или CliсkHouse, позволяя использовать их вне приложений Qlik.
Разработка Qlever Solutions ускоряет процесс миграции на новую платформу бизнес-аналитики, безопасна и проста в использовании и включена в реестр отечественного ПО.
УЗНАТЬ БОЛЬШЕ О ВОЗМОЖНОСТЯХ QVDB-QLEVER
ClickHouse – аналитическая колоночная СУБД, разработанная для быстрой обработки больших объемов данных. Быстродействие ClickHouse обеспечивается, в том числе, более высокой по сравнению с обычными строковыми СУБД степенью сжатия данных. В результате исходные размеры таблицы уменьшились с 7 до 3 ГБ.
Подключение FineBI к ClickHouse было реализовано с помощью JDBC-драйвера (Java Database Connectivity), позволяющего получать соединение с базой данных по специально описанному URL.
В результате специалистами Qlever Solutions были реализованы визуализации по основным показателям:
- Пузырьковая диаграмма с распределением EBITDA по ресторанам сети, в которой для наглядности был дополнительно настроен эффект подсвечивания максимальных показателей
Возможность легко добавлять анимацию и 3D-эффекты в визуализации – отличительное преимущество FineBI
- Столбчатая диаграмма рейтинга ресторанов по Same Store Sales
- Диаграмма Водопад для визуализации структуры расходов
Для переноса диаграммы в FineBI потребовалось, используя SQL-скрипт, создать кастомный датасет с параметрами, которые были привязаны к фильтрам на листе дашборда.Были выполнены небольшие преобразования данных для корректного отображения последовательности Водопада.
- Комбинированная диаграмма динамики EBITDA (План/Факт)
В FineBI встроен удобный конструктор для создания комбинированных диаграмм любой сложности
- График Динамики EBITDA, с настройкой анимации
- Сводная таблица и таблица с детализацией на 81 млн записей.
По умолчанию FineBI отображает на листе не более 20 тыс. записей.Для удобства работы с таблицами в FineBI предусмотрен встроенный конструктор элементов, в то время как в Qlik такие функции доступны только с использованием дополнительного расширения.
Перенос трех дашбордов из Qlik Sense в FineBI без настройки ETL занял у эксперта Qlever порядка 16 часов, с учетом:
- Подготовки и предрасчета данных
- Выгрузки QVD-файлов из Qlik с помощью коннектора QvDB и их загрузки в ClickHouse
- Создания и настройки визуализаций в FineBI
Такая простая и быстрая миграция стала возможна благодаря уникальным преимуществам платформы FineBI, которые не уступают, а по некоторым пунктам даже превосходят функциональность Qlik.
Возможности FineBI
- Простая интеграция с источниками данных
FineBI поддерживает интеграцию с более чем 30 платформами MES, CRM, ERP, а также аналитическими БД, в том числе, ClickHouse, реляционными и NoSQL базами, Excel, CSV, TXT, XML-файлами.
Большая часть БД подключается через коннекторы, которые встроены в систему, драйверы к ним уже предустановлены, и все, что нужно для работы с ними – заполнить форму подключения.
В случае, если коннектора к базе нет, настройка нового драйвера осуществляется через JDBC (Java Database Connectivity), как было продемонстрировано выше в кейсе миграции. Подключение к сторонним многомерным базам данных реализуется через XMLA.
Добавление данных возможно в режиме реального времени даже без знаний HTML, с помощью специальных форм для сбора данных от сотрудников или клиентов, массовое внесение информации реализуется через разнообразные виджеты.
Система соответствия данных с алгоритмами валидации обеспечивает их всестороннюю проверку. Отчеты обновляются немедленно, с учетом новых данных.
- Разнообразие визуализаций
FineBI предлагает большое количество визуализаций для различных сценариев. Визуализации разделены на 19 категорий, состоящих их более 50 стилей диаграмм: столбчатые диаграммы, таблицы, круговые диаграммы, графики, географические карты, тепловые карты и т. д., с возможностью настройки динамических и 3D- эффектов.
Доступны функции создания комбинированных диаграмм – соединения нескольких типов чартов в одной визуализации, например, столбчатая диаграмма + график, и добавление нестандартных диаграмм с помощью плагинов из маркета.
- Удобство для пользователя
FineBI позволяет легко создавать различные конфигурации отчетов с помощью конструктора FineReport:
- Общий для ежедневных текущих отчетов (например, финансовый отчет)
- Агрегированный для нестандартных отчетов (например, счет-фактура)
- Панель мониторинга, объединяющая аналитические данные в единый отчет для многомерной аналитики
Добавление наборов данных в систему можно произвести без привлечения ИТ-специалистов.
Инструменты Self- service, встроенные в интерфейс редактора данных, помогают упорядочить данные, отредактировать тип полей, удалить дубликаты, произвести валидацию, обработать нулевые значения и т. д.
Для пользователя доступны добавление столбцов, группировка, фильтрация, сортировка, объединение, что позволяет проводить работу с данными с минимальными затратами времени на обучение.
Интуитивно понятный интерфейс облегчает работу в системе. Платформа предлагает большой выбор элементов для создания дашбордов.
Собирать дашборды и настраивать визуализации можно простым «перетаскиванием» элементов в область анализа - Drag-and-drop.
В зависимости от данных, выбранных пользователем, система рекомендует наиболее подходящий тип визуализации, тем самым ускоряя анализ данных.
Функциональность платформы позволяет настроить стили, толщину и цвета визуализации, цвет фона, отображение маркеров, легенды и подписей, изменить радиус закругления угла диаграмм и т. д.
FineBI предлагает несколько шаблонов готовых стилей дашбордов. Также можно настроить собственный стиль в меню Custom, например, корпоративный стиль для всех дашбордов.
Переключение между визуализациями и изменение их типов (например, переключение осей для создания столбчатой или линейчатой диаграмм) осуществляется в один клик:
В готовых отчетах можно устанавливать предупреждения для ключевых показателей для оперативного обнаружения и устранения возникших отклонений, что повышает качество принятия решений на основе данных.
Для пользователей доступно официальное мобильное приложение DataAnalyst. Шаблоны отчетов в FineBI можно использовать совместно для ПК и мобильных версий, что экономит драгоценное время разработки.
- Работа с большими данными
Платформа отлично зарекомендовала себя в работе с большими данными. FineBI работает с таблицами группировки с более чем 100 миллионами строк, время запуска составляет около 0,75 секунд.Быстрая работа и представление больших объемов данных в FineBI осуществляются благодаря гибкому механизму обработки Spider.Он позволяет извлекать данные в реальном времени и работает в двух режимах:
- В распределенном режиме, разделяя большие объемы данных на более мелкие фрагменты, которые затем обрабатываются параллельно на разных узлах
- В режиме Direct, который позволяет напрямую подключаться к БД для ускорения вычислений и обеспечения безопасности данных
Специалисты Qlever Solutions тестировали производительность платформы на больших объемах данных в режиме Direct. При подключении напрямую к СУБД ClickHouse, преобразование данных в сводной таблице размером 149 ГБ (2,7 млрд записей) было реализовано всего за 2 минуты.
- LOD-функции для сложных вычислений
Одним из главных преимуществ платформы является эффективная работа со сложными сценариями вычислений.
В FineBI сложные запросы реализуются с помощью LOD (Level of Detail) функций, которые позволяют выполнять агрегацию данных на разных уровнях детализации.
1. DEF позволяет создавать кастомные расчеты на основе существующих данных и стандартных функций, проводить операции с датами, проверки данных, вычисления между строками и столбцами.
Примером использования функции может служить сценарий группировки клиентов по количеству совершенных заказов, расчет показателей прибыли по дням, вычисление процента от общего, детализация значений по периодам.
2. DEF_ADD добавляет (суммирует) значения одного или нескольких полей или вычислений, используется для расчета итоговых значений, создания совокупных показателей и агрегирования данных.
Примеры сценариев использования:
- вычисление общей суммы продаж с учетом дополнительных продаж из конкретного канала
- подсчет общего дохода за определенный период
- суммирование продаж по категориям товаров
- добавление налогового процента к сумме продаж для расчета общей суммы с учетом налогов
- анализ количества заказов с учетом количества дополнительных элементов, добавленных в каждый заказ
3. DEF_SUB вычитает одни значения из других, позволяя провести операции расчета разницы и дефицита. Подходит для анализа изменений, вычисления прибыли или убытков, и других операций, связанных с разностью значений.
Примеры сценариев использования:
- сравнение продаж по периодам, расчет прироста или спада показателей
- анализ разницы между фактическими и целевыми показателями
- расчет чистой выручки без учета дисконтов и скидок
- оценка фактических доходов – вычитание суммы возвратов или отмен из общих продаж или выручки
4. EARLIER предназначена для обращения к значениям, которые были рассчитаны ранее в контексте текущего расчета, используется в итеративных расчетах, сравнительном анализе или для вычисления кумулятивных сумм.
Примеры сценариев использования:
- процентное изменение месячных продаж по сравнению с предыдущим месяцем для анализа трендов
- расчет кумулятивного итога продаж за год, где каждый последующий месяц включает в себя суммы предыдущих месяцев
- Удобное управление правами доступа
FineBI предлагает разграничение прав доступа пользователей на основе ролей:
- BI Design (пользователь разработки) – может просматривать, извлекать, редактировать и добавлять компоненты и информационные панели, работать с подключенными источниками данных.
- BI View (пользователь просмотра) - может просматривать информационные панели, но не может редактировать их или производить операции с данными.
Для каждого пользователя можно создать папки с директориями, в которых он сможет работать, и отдельно настроить доступ для пользователей ПК или мобильных устройств.С помощью функции Public Link можно открыть доступ к отчету для внешнего пользователя, при необходимости ограничив его паролем и сроком доступа.
FineBI – мощный инструмент бизнес-аналитики, однозначно заслуживающий внимание при выборе ПО для миграции.
Помимо широкой функциональности и производительности, платформа зарекомендовала себя на международном рынке возможностью использования в узкоспециализированных отраслях. На базе FineBI разработаны прикладные аналитические решения для строительства, производства, банковского сектора, преднастроенные для решения уникальных задач отрасли.
Миграция на платформу FineBI позволит вам открыть новые возможности для повышения эффективности бизнеса и усовершенствовать процесс принятия решений на основе данных, а надежный партнер-интегратор с опытом проектов на базе платформы обеспечит бесшовный и быстрый переход.