Миграция на отечественные BI-системы: проблемы и их решения
Продолжаем публикацию материалов по итогам митапа «Импортозамещение в диджитал: опыт и кейсы» , который компания Globus IT провела 12 мая. Амир Якубов, руководитель направления Hard & Soft и импортозамещения Globus IT, поделился своим опытом перехода на отечественные BI-системы. Итак, с какими трудностями сталкиваются компании при миграции и как удается их решить.
Для начала поясним, что такое Business Intelligence, или BI-системы (если вы в курсе, можете пропустить эту главу). Это набор инструментов и технологий для сбора, анализа и обработки данных.
Общая цель Business Intelligence — предоставить бизнесу возможность принимать обоснованные решения с учетом комплексной аналитики. Компании, использующие BI, получают максимально полные, точные и структурированные данные с возможностью построения предварительных прогнозов перед принятием управленческих решений.
Основные задачи, которые помогает решить система BI:
- Сбор данных из разных источников, их структурирование и хранение в единой системе.
- Анализ больших объемов данных для формирования и подтверждения гипотез или для разработки бизнес-решений с учетом аналитики.
- Моделирование возможных решений для оценки их влияния на итоговые показатели деятельности и прогнозирование последующего развития на основе имеющихся данных.
- Формирование оперативной и стратегической отчетности, в том числе оповещение об отклонении показателей от допустимых норм.
- Сохранение и систематизация знаний с целью последующей передачи новым сотрудникам, чтобы опыт сохранялся и качество работы стабильно повышалось.
- Преобразование таблиц источника к удобному для аналитики формату.
- Непредсказуемое изменение структуры таблиц: добавление новых источников и новых производных расчетов.
- Возможность работы с агрегированными представлениями больших данных (не нужно грузить 10 млрд транзакций за все время, если нужен анализ продаж в разрезе клиентов за год).
- Разграничение прав доступа к отчетам.
- Использование отчетов на любом типе устройства в режиме онлайн.
Составители квадранта Gartner по BI-системам (Gartner Magic Quadrant for Business Intelligence (BI) and Analytics), обозначают две главные характеристики современной BI-платформы:
- простая в использовании функциональность, поддерживающая весь процесс от подготовки данных до визуального исследования и генерации аналитических данных;
- самообслуживание и расширенная помощь пользователям.
На мировом рынке большие возможности по визуализации данных стали массовыми, так что по этой характеристике BI-системы мало отличаются друг от друга. Отличия сместились в область использования машинного обучения (ML), искусственного интеллекта (AI) по всем рабочм процессам — от подготовки данных до генерации аналитики и принятия управленческих решений.
BI-системы для каждой компании подбирают индивидуально в зависимости от бизнес-процессов, сложности бизнес-задач, числа пользователей и территориальной распределенности организаций.
Технологические тренды в сфере BI
До недавнего времени системы бизнес-аналитики подразделялись на два класса.
- Классические BI-системы, требующие для работы ИТ-специалиста или профессионального бизнес-аналитика.
- Системы бизнес-аналитики с интерактивной визуализацией, доступные и простые в работе для любого пользователя (self-services BI).
Недавно Gartner ввел новый термин — «дополненный интеллект» (Augmented Intelligence), и был обозначен новый ориентир развития BI-систем — Augmented Business Intelligence (ABI). Это новая ступень развития BI-платформ, в которую добавлены дополненная, виртуальная реальность и искусственный интеллект, но до этого мы, вероятно, дойдем еще не скоро.
В числе основных технотрендов BI в России:
- эволюция BI-систем от классических в сторону систем самообслуживания (self-service BI);
- предоставление услуг бизнес-аналитики по облачной модели (SaaS);
- рост популярности low-code-подхода;
- рекомендательная аналитика, DSS-функционал, то есть возможность поддержки принятия решений и мобильность;
- использование гибридного хранилища данных и распределенных файловых систем;
- применение искусственного интеллекта (AI), машинного обучения (ML)
Кроме того, Decision Intelligence попал в число технологических трендов. Это широкий набор приемов и техник, которые позволяют оптимизировать качество управленческих решений.
Ситуация на рынке BI-систем, основные трудности, с которыми столкнулся российский бизнес
До февраля 2022 года лидерство на BI-рынке — что в мире, что в РФ — удерживали американские вендоры Tableau, Power BI, Qlik — во многом благодаря развитому функционалу и грамотной ценовой, маркетинговой, партнерской политике.
Текущая ситуация на рынке BI
- Крупнейшие иностранные разработчики BI останавливают сотрудничество с российскими клиентами и замораживают свою деятельность в РФ. Часть вендоров отказываются не только продавать новые лицензии, но и закрывают возможности для продления и поддержки уже имеющихся.
- Реальные риски потерять работающее в компании BI-решение: невозможно оплатить продление, нет поддержки решений в России, остановка действующих лицензий.
- Компании, для которых BI стал частью корпоративной культуры, встали перед необходимостью оперативного импортозамещения.
- Альтернативы Tableau, Power BI, Qlik на нашем рынке есть, но все имеющиеся решения — это неполный аналог выбывающих игроков.
- Потребность в большом количестве компетентных специалистов для внедрения российских систем.
- Отсутствие масштабного опыта миграции на российские системы.
- Перегруз отечественных вендоров запросами на миграцию.
В обычных условиях выбор и внедрение BI-платформ — длительный и многоуровневый процесс, включающий пилотные проекты на 10–20 пользователей с дальнейшим тиражированием проверенного решения на всю компанию.
В текущей ситуации грядущего отключения от действующих зарубежных BI-систем мигрировать на отечественное ПО нужно быстро и сразу на сотни и тысячи рабочих мест. Иначе все бизнес-процессы в один день могут просто встать во всей организации.
На сегодняшний день российский рынок BI предлагает около 40 систем с разной функциональностью и стоимостью.
Ряд российских решений уже пользуется популярностью, так как они разрабатывались под нужды крупного бизнеса. Но по большей части такие решения узкоспециализированные, отраслевые.
Часть комплексных российских BI-решений достаточно молодые, но на них стоит обратить внимание, так как они наделены широким функционалом, современным технологическим подходом и привлекательным понятным дизайном.
При внедрении новых решений важно помнить о тех задачах, которые BI-система решает в конкретной организации, и выбирать решение не столько по наличию максимального функционала, сколько по наилучшему соответствию функций BI потребностям компании.
Выработать свое уникальное решение и снизить риск ошибки. Избежать существенных финансовых потерь и падения качества управления и оперативно мигрировать без потерь помогут интеграторы, такие как Globus IT.
Особенности миграции на российские BI-платформы
У большинства компаний за годы комфортной работы с зарубежными сервисами нет доверия к экспертизе отечественных решений. Но тут уж выбор или остаться совсем без бизнес-аналитики, или выстраивать новые платформы и стратегии с новыми инструментами.
Основное, что важно принять пользователям BI в новой реальности: придется комбинировать несколько программных продуктов для полноценного и привычного функционирования бизнес-аналитики в компании.
Например, если Qlik в стандартной редакции можно было закрыть все этапы преобразования данных от ETL до хранения, моделирования и разработки отчетов и Self service, то при миграции придется подбирать несколько отдельных модульных решений, чтобы и обработка, и визуализация данных соответствовали потребностям компании.
Классическая схема внедрения BI-платформы выглядит так:
- сбор и анализ требований заказчика;
- подбор максимально подходящего решения;
- инсталляция ПО и работа с данными клиента;
- визуализация данных и настройка дашбордов;
- тестирование работы системы у клиентов и обучение сотрудников.
Когда систему BI компания запускает впервые, стадии 1/3/4 занимают самую затратную часть как по времени, так и по бюджетам.
В случае запуска процесса миграции клиенты могут существенно сэкономить на стадиях 1/3/4, так как действующая BI-система будет выступать в роли технического задания «Как надо».
Но придется сочетать западные продукты параллельно с российскими. Нужно не только поддерживать два решения в режиме онлайн, но и адаптировать бизнес-процессы по использованию систем сотрудниками компании, что влечет актуализацию регламентов и дополнительное обучение пользованию системой.
Важным элементом успешной миграции будет запуск пилотного проекта, на котором компания откатает все необходимые для бесперебойной работы функции и возможности внедряемого программного продукта.
Обратить внимание необходимо на наличие у BI-решений прямых интеграций с действующей ИТ-структурой компании. Это позволит сократить сроки внедрения и не трогать уже работающие системы предприятия.
Выбор вендора и партнера как для миграции, так и для первичного запуска BI-системы лучше производить по следующему алгоритму:
- Определить цели внедрения системы анализа.
- Сформулировать требования и ожидания от конечного результата.
- Произвести первичный отбор интеграторов с релевантным опытом.
- Составить road-map внедрения проекта совместно с интегратором.
- Определить ответственных за проект внедрения из команды компании.
- Запустить и настроить пилотный проект системы.
- Собрать обратную связь о работе пилота с заинтересованных лиц.
- Обучить сотрудников работе с новой системой.
- Произвести полноценный запуск и настройку системы.
- В течение первых 3 месяцев контролировать работу системы и собирать от сотрудников данные об опыте ее использования.
Перед внедрением новых решений важно проводить оценку функциональности по следующим критериям:
- Работа с разными источниками и разными структурами данных (наличие в списке всех СУБД, которые есть в ваших источниках).
- Встроенный функционал трансформации данных. Желательно без кодирования.
- Высокая производительность — наличие встроенного in-memory-ядра, которое позволяет быстро выполнять стандартные BI-операции (фильтрации, сортировки, агрегации больших данных).
- Режим прямых запросов к БД, а не только режим экстракции.
- Мобильное приложение.
- Поддержка Self-Service BI.
- Поддержка BI-продуктом тех стандартов инфраструктуры, которые приняты в вашей организации.
- Пилотные проекты для тестирования работы системы.
- Наличие успешных кейсов в аналогичных отраслях.
Ключевые сложности миграции:
- Отсутствие времени на полноценное тестирование.
- Переплата за двойные лицензии — действующие и внедряемые.
- Необходимость боевой настройки сразу на большое число пользователей.
- Экстренное переобучение пользователей.
- Нет точного понимания стоимости и алгоритмов расчета лицензий разных решений.
- Сложность организации процесса миграции (собственные специалисты, представители вендора или интегратор).
- Стоимость российских систем выше западных.
- Нет накопленного опыта миграции на российские системы.
- Использование в операционной работе программного обеспечения западных вендоров, которые невозможно быстро подключить к российским BI-системам.
- Единовременная миграция по большому количеству программных систем, а не только по системам бизнес-анализа.
Выбор надежного партнера по интеграции снимает вопросы по бесшовной настройке и внедрению бизнес-аналитики с новыми решениями.
Российские аналоги BI-систем и новые условия внедрения
Продукты российской разработки успешно конкурируют с аналогами от западных вендоров, поскольку они обладают широкими возможностями кастомизации. Это очень важное качество в сегменте BI-систем в принципе, потому что каждая система бизнес-аналитики при своем внедрении должна учитывать массу нюансов бизнес-процессов конкретных заказчиков. В этом смысле российские решения вполне конкурентоспособны в рамках проектов для компаний разных масштабов, разных вертикалей (ритейл, банки, промышленность) и разных рыночных сегментов.
Среди наиболее актуальных российских решений, способных заместить большую часть функций известных западных BI-систем и уже используемых российскими компаниями в качестве импортозамещения, предлагаем рассмотреть:
- Modus BI
- LuxmsBI
- Loginom
- Visiology
Продукты относятся к классу SSBI (Self Service BI), сочетают невысокую стоимость внедрения и владения платформой BI, а также входят в Реестр производителей отечественного ПО.
Рассмотрим решения подробнее.
Modus BI
Систему отличает:
- адаптивный интерфейс;
- множество источников данных;
- настраиваемые формы ввода данных;
- работа в браузере;
- безопасность и настройка доступа;
- фиксированная стоимость лицензии без ограничений в количестве пользователей, объеме данных и источников.
Luxms BI — платформа бизнес-аналитики, которая помогает компаниям контролировать внутренние процессы, анализировать показатели эффективности, визуализировать и публиковать их как интерактивные дашборды. Luxms BI специализируется на быстрои аналитике на больших данных.
- Широкие возможности по визуализации информации, включая работу с инфографикои и географическими картами.
- Электронные планерки, внутренние аналитические порталы, личные кабинеты.
- Прогнозирование и моделирование (AI/ML) — инструментарии для глубокои аналитики данных.
- Движение разработчиков в сторону no-code в использовании системы.
- Широкие возможности по созданию/подключению новых кастомных объектов визуализации помогут реализовать даже самые сложные запросы в части визуализации данных, хотя это и потребует ресурсов разработки.
Loginom
Low-code-платформа может заменить зарубежное программное обеспечение в части бизнес-аналитики в следующих аспектах:
- Извлечение, преобразование, загрузка (Extract, Transform, Load — ETL).
- Оперативная аналитическая обработка данных (Online analytical processing — OLAP).
- Система принятия решений (Real-Time Decision Manager).
- Рабочее пространство аналитика (Self-service Analytics).
- Инструмент машинного обучения (Machine Learning).
- Качество данных (Data Quality).
- Глубинный анализ процессов (Process Mining).
За все время существования продукта на Loginom реализовано более 200 сложных аналитических проектов.
BI-платформа Visiology
Решение для сбора данных, их обработки и визуализации:
- собственная система обработки транзакций ViQube;
- инструмент сборки отчетности SmartForms;
- виртуальный аналитик ViTalk.
В качестве инструмента для извлечения данных вместе с Visiology BI можно использовать любое решение класса ETL, в том числе полностью интегрированный с платформой бесплатный open-source ETL-инструмент ViXtract.
___________
Освободившийся рынок развивает конкуренцию среди российских производителей BI-решений. Каждое решение обладает определенными функциональными возможностями, которые позволяют закрывать отдельные кластеры задач. Но часто для задач компании требуется модульный подход, позволяющий сочетать разные решения на единой платформе.
Для тестирования возможностей российские BI-производители создают новые, более выгодные условия для пользователей при миграции. Ранее считалось, что российские решения достаточно дорогие.
Например, при выборе Visiology в качестве новой BI-платформы с марта 2022 года можно переехать с меньшими потерями. Появилась более доступная лицензия с меньшей скоростью поддержки и на меньшее число пользователей.
Итоги
Мир изменился, и возврат к привычным зарубежным BI уже невозможен. Но российские системы уже на том уровне, что через модульную комплектацию с опытным интегратором можно собрать необходимый функционал — не уступающий зарубежным — для оптимального решения бизнес-задач конкретной компании без потерь.
- Российские BI-решения постоянно развиваются, и новые клиенты в разы ускорят это развитие новыми задачами.
- Практические кейсы крупных компаний показывают эффективность российских BI-систем.
- Опытные интеграторы помогают подобрать оптимальное решение по функциональности и ценам на лицензии.
- Миграция с зарубежных BI возможна в сжатые сроки при готовности компании к боевому внедрению.
Вы забыли упомянуть их цены. Это один из важнейших параметров, который сразу же отсекает весь малый и средний бизнес и оставляет с этими дашбордами только энтерпрайз.
У энтерпрайза проблем итак нет. Не понимаю откуда этот тренд на слово «self-service”, если компании, которые используют вышеописанные BI платформы, напичканы штатом из огромных команд дата аналитиков и программистов. Нихрена это не селф сервис. И для целевого клиента вышеописанных сервисов также не составит труда анализировать и визуализировать данные в принципе без какого либо сервиса, если придется.
Другой вопрос с МСБ. Тот же PowerBI мог использовать какой нибудь рандомный московский барбершоп. Теперь из доступных остался еще работающий в РФ Google Data Studio и забагованный Яндекс DataLens.
Я общался с вендорами и интеграторами нескольких BI платформ. Каждый из них вкурсе про «дыру» в своей ориентации. Что 99% бизнеса не может использовать их инструменты, ввиду их огромной стоимости. Но им проще работать с одним энтерпрайз клиентом, чем с 1000 МСБ. Такие вот реалии