Сравнение Visiology и open-source продукта: какую BI-систему выбрать

Visiology или Apache Superset: функциональное сравнение и все «за» и «против» двух систем для бизнеса.

Visiology и Apache Superset представляют собой два различных решения для работы с данными и аналитики, каждое из которых имеет свои уникальные особенности и преимущества.

Visiology, основанная в 2016 году, момент своего старта была ориентирована в первую очередь на корпорации, нуждающейся в хранении чувствительных данных именно отечественному решению — госсектор и другие компании, обладающие чувствительными данными, а также компании которым запрещено было пользоваться зарубежными платформами хранения данных и программным обеспечением, которые отображают BI-отчеты.

В свою очередь, Apache Superset, созданный в 2017 году, — это не совсем BI-система, это открытое программное обеспечение для исследования и визуализации данных, ориентированное в первую очередь на большие данные. Распространение в мире SuperSet получил из-за бесплатности лицензии.

В России SuperSet стал распространяться в двух направлениях:

• SuperSet стали использовать технологические компании, где много высококвалифицированных IT-специалистов, способных его поддерживать.
• Второе направление — это госкомпании, у которой были условия на открытость ПО и отсутствие оплаты лицензий.

Так как Visiology это коммерческий продукт, у него есть вполне конкретная команда разработки, которая анонсирует все будущие релизы, оказывает качественную поддержку по продукту:

• Есть портал поддержки, где можно создать тикет по проблеме или вопросу.
• При возникновении критических проблем команда разработки предоставляет конкретный функциональный элемент или доработку.
• Поддержка открыта для любого рода предложений по улучшению продукта.

Roadmap

Основной момент, касающийся поддержки, это понятный roadmap развития.

• Roadmap на 2023 год был полностью реализован, новые релизы выходили каждые 2-3 месяца.
• Сейчас доступен roadmap на 2024 год, который можно посмотреть на сайте Visiology и ознакомиться с функционалом, который скоро будет добавлен в платформу.

У SuperSet нет самого вендора, то есть официальной поддержки – нет, и ответственность за работу платформы полностью ложится на сотрудников компании-интегратора или саму компанию, если она устанавливает superset самостоятельно.

Продукт развивается, происходит обновление функционала, устранение багов, но часть компаний сталкивается с проблемой, что при обновлении или добавлении новых фич ломается старый функционал и так как это open source, приходится либо ждать исправления этого функционала, либо править все самим.

По поводу roadmap, планы развития superset в GitHub существуют, но в реальности достаточно сложно понять, что и когда будет реализовано.

Важно определиться, что вам требуется от системы. В то время как Superset обладает хорошим базовым функционалом – это самая распространенная визуализация, агрегационные метрики и простые системы фильтров, однако, если нужно что-то более сложное, то здесь могут возникнуть некоторые моменты.

Наиболее часто встречаемые проблемы:

• Отсутствие внутреннего аналитического хранилища
• Необходимо реализовать не только хранилище, но и весь механизм ETL с очисткой и переподготовкой данных.
  
• Системы логирования и продвинутого мониторинга технического состояния сервера в Superset — отсутствует, но есть система мониторинга данных и система простых алертов.

Помимо основного назначения системы Visiology, разработка аналитических отчетов, в системе есть много дополнительного функционала, который поставляется прямо из коробки в рамках единой рецензии и упрощает работу с отчетностью, с BI-платформой:

• Возможность мониторинга ресурсов сервера (контроль проблем путем отслеживания загрузки ресурсов).
• Функционал автоматической рассылки отчетов на электронную почту.
  
• Внутреннее аналитическое хранилище (позволяет снять нагрузку с источника и избавляет от необходимости развертывание настройки и подготовки аналитического хранилища отдельно от самой платформы).
  
• При работе с не структурированными/не оцифрованными данными, система поддерживает функционал ручного ввода данных напрямую в аналитическое хранилище при помощи умных форм.

В разрезе безопасности данных в Visiology есть широкие возможности по ограничению прав доступа как к объектам, так и к конкретным данным, на уровне платформы.

Возможность в рамках ролевой модели есть возможность закрыть:

• определенные объекты и данные от пользователя
• выполнить ограничения на уровне данных (на уровне строк данных)

В зависимости от уровня ограничений можно гибко настраивать ролевые модели.

Также то, что касается безопасности — это, что систему можно развернуть как в облаке, так и на собственных мощностях (собственном сервере) и полностью лишить этот сервер к доступу к интернету.

Ролевой доступ в SuperSet реализован на базовом уровне.

Расширенный ролевой доступ Role Base Access Control, Role Level Control, появились только в платной версии.

Относительно безопасности, с одной стороны, за время существования SuperSet было найдено много уязвимостей и проделана большая работа по повышению безопасности, особенно заметно в SuperSet 3.0., но если для компании безопасность приложения/данных достаточно важны, то этот вопрос нужно рассматривать не в рамках SuperSet, а в рамках более глобальной системы безопасности.

Visiology не требует локализации, потому что сам продукт был первоначально создан в России на русском языке.

SuperSеt — это англоговорящее решение и полной локализации продукта не существует.

Интеграторы делают локализацию продукта, но чаще всего встречается микс вариант, что часть пунктов на русском, часть на английском (общеупотребимые термины).

Также есть серьезная проблема коммуникации сообщества, русскоговорящее сообщество не такое большое и в случае возникновения вопросов придётся общаться на английском языке + часто бывает разрыв по часовому поясу. (В России есть отдельный Telegram чат)

И еще одна из проблем с локализацией, это использование геокарт, стандартные геокарты, которые есть в superset — это Россия без новых территорий.

В современной модели аналитики предполагается, что нет жесткого цикла разработки конкретных отчетов. Вместо этого это динамический процесс, в котором сотрудники совместно создают, изменяют и дополняют отчеты, следуя за изменениями и развитием бизнеса. Так подход self-service освобождает бизнес-пользователей от зависимости от технических специалистов, позволяя им быстро получать нужную информацию и принимать более обоснованные решения на основе данных.

• Большая часть функционала Visiology настраивается в интуитивно понятном интерфейсе.
• Благодаря тому, что в системе имеется встроенное аналитическое хранилище, дашборды обладают высокой скоростью построения и перестроение при выборе какой-либо фильтрации.
• Для подготовки/разработки дашбордов по умолчанию в системе доступен набор визуализации, на который можно кликнуть и прямо в интерфейсе дракендропом вывести на визуализацию необходимые поля. Также в системе присутствуют широкие возможности кастомизации визуализаций.
• Во вкладках есть большое количество параметров, которые можно редактировать, но, если вдруг этих параметров недостаточно, можно доработать визуализацию при помощи кода.

Развертывание и подключение SuperSеt требует значительной экспертизы DevOps, так как этот программный продукт должен быть синтерирован с другими компонентами системы:

• Kafka (для распределенной обработки потоковых данных в режиме реального времени).
• ETL-процессы.
• Kubernetes (в случае микросервисов).
• Самостоятельно можно работать в рамках существующего конструктора создания дашбордов.

В Visiology используется встроенный язык запросов — универсальный язык DAX.

DAX — это очень мощный аналитический язык, который позволяет выполнять вычисления на уровне схемы данных, то есть мера пишется один раз, вычисляемая и используется уже на необходимых визуализациях в необходимом контексте.

В Superset используется SQL Alchemy.

С одной стороны, это, конечно, удобен, так как много программистов и аналитиков знают SQL-запросы, однако это прямо пропорционально сказывается на скорости запросов.

При отсутствии аналитического хранилища SQL-запросы с множеством джойнов может значительно сказаться на скорости, поэтому должна быть реализована витрина данных и вычисления на стороне базы данных, а также она должна быть сконфигурирована таким образом, чтобы на эти данные была возможность наложить агрегационные функции Superset.

Тем не менее данный недочет был исправлен в платном варианте, который, к сожалению, недоступен в РФ.

Для компаний критично, чтобы пользователи аналитических платформ быстро освоили и адаптировались к новым инструментам, а технические специалисты обладали всей необходимой документацией и ресурсами для поддержки и обслуживания системы в дальнейшем.

Visiology имеет достаточно подробную документацию по всем возможностям предлагаемых платформой, то есть даже когда публикуется новая версия продукта, на портале, в этот же момент, выходит новая версия документации, которая описывает полностью весь функционал системы, включая новый добавленный функционал.

Также присутствует:

• активная помощь от команды поддержки вендора
• активная комьюнити в Telegram-канале
• центр компетенций вендора, который регулярно проводит обучение.

Обучение проходит как для партнеров, так и просто для всех желающих по продукту путем проведения различных обучающих практических вебинаров.

В SuperSеt присутствует базовый материал по установке и началу работы. (в интернете существует открытый, достаточно подробные туиториалы) Также существует большое количество роликов, снятых энтузиастами по решению тех или иных проблем, но так как система постоянно развивается, некоторые материалы могут быть неактуальны.

Порядка 95% всей информации распространяется на английском языке, конечно, есть российские компании, которые предоставляют видеокурсы, но их значительно меньше.

В Visiology есть возможности различной стилизации и визуализации, прямо в интерфейсе, доступны широкие возможности работы с палитрой, подписями, шрифтами, стилями отображения.

Также есть возможность более тонкой настройки при помощи кода, что бы стилистического отображения и визуализации в системе отображали данные в удобном и приятном порядке.

Преимущества работы с визуализацией данных на Visiology:

• Есть возможность выгрузить тему визуализации и применить эти настройки для любой другой визуализации.
• Отсутствие ограничения на кастомизацию визуализации (всегда есть возможность доработки визуализации при помощи кода) .
• Визуализацию можно располагать в любом месте дашборда без привязки к колонкам или сетке.
• Большим плюсом среди других вендоров (в том числе и иностранных) – это возможность добавление кастомных чартов из открытых JS библиотек таких как Highcharts, Echarts и др.

Также, по умолчанию в системе можно добавить кастомную диаграмму из открытой библиотеки просто взяв её код, указав необходимы поля для данных и визуализацию. В дальнейшем ее можно заново использовать на любом дашборде без повторного добавления.

В SuperSеt присутствует более 50 стандартных визуализаций.

Часто используемые бар-чаты, арея-чаты, таблицы, практически изжили свои баги.

Преимущества работы с визуализацией данных на SuperSеt:

• Есть возможность выбрать палитры и кастомные цвета.
• Cтилизация возможна с помощью шаблонов CSS.
• Также существует базовый функционал кастомизации графиков, однако в случае чего-то более сложного может возникнуть проблема, что либо это будет очень сложно сделать, либо для это придётся значительно перерабатывать систему.

Недостатки работы:

• Ограничение двенадцати колонок по горизонтали и распределить между ними графики и таблицы можно только по кратности, однако если необходимо присутствие непропорциональной композиции из пяти или семи элементов, то разделить их по сетке красиво не получится.
• Несмотря на возможность разработки своего плагина, его включение в официальный образ достаточно сложно исполнимо (механизм добавления плагина в SuperSеt описан в официальной документации).
• Также при миграции SuperSеt на новую версию может потребоваться как модификация существующего плагина, так и копирование даже целых разделов фронтенда из официального репозитория.

С точки зрения затрат можно выделит несколько преимуществ закрытого ПО:

• У вендора есть большая сеть партнеров.
• Внутри платформы встроены необходимые большинству функциональные модули.
• Система обладает постоянной поддержкой со стороны вендора (постоянные обновления).
• Поддержка всегда готова помочь в реализации того или иного функционала, а также разобраться с возникшими вопросами/ проблемами.
• Высокий уровень безопасности.

Подводя итог, можно сказать, что Visiology — это решение для глубокой аналитики с возможностью создания полноценной и сложной модели данных, а также для стратегических важных отчетов, включающих в себя высокие требования с точки зрения производительности, надежности и требований к визуализациям.

SuperSet, это идеальное решение, если:

• У вас достаточно простые графики и вы готовы пойти на какие-то компромиссы в визуализации.
• Вы хотите сэкономить на стоимости лицензии и готовы производить поддержку инфраструктуры (оставить продукт без поддержки достаточно рискованно)
• Требуется открытость кода
• Необходима мелкая, локальная, middle-level аналитика (для больших компаний наряду с серьезной BI-аналитикой)

Это не идеальное решение если:

• у вас сложная глубокая аналитика с множеством полноценны связей
• важны права, доступ, имеются серьезные разграничения
• ваши отчеты требуют бесперебойности, безотказности и это стратегически важные отчеты

В целом, SuperSet хорошо показывает себя в своей нише, продолжается развитие, на его базе активно создаются различные решения с большим функционалом.

При выборе инструмента компании нужно учитывать её масштабы, потребности в визуализации и используемые практики работы. Visiology – отличный выбор, если вам важны безопасность и возможность разграничения прав доступа, при условии, что вы готовы потратить денежные средства на BI. Это также полезный инструмент для компании, которая захочет встраивать аналитику на веб-сайты или порталы и предоставлять доступ к дашбордам отдельным лицам для персональной работы.

Apache Superset подойдёт тем, кто готов самостоятельно разбираться, как её устанавливать, и имеет ресурсы, чтобы её на них разместить. Несмотря на некоторые существующие ограничения, нужно учитывать, что Apache Superset находится на стадии разработки и в дальнейшем они, возможно, будут устранены. Большое преимущество программы: бесплатность, но это условно, так как необходимо задействовать команду бизнес-аналитиков.

Если вам понадобится консультация по выбору BI-аналитики в вашей компании, обращайтесь к нашей команде через форму обратной связи на сайте, по телефону +7-499-500-45-29 или пишите на [email protected].

#bi #visiology #сравнение #apache