В апреле Qlever Solutions стартовали цикл вебинаров по эффективному внедрению корпоративных хранилищ данных.
На первой онлайн-встрече технический директор Qlever Андрей Харлак поделился опытом Qlever Solutions в разработке DWH и рассказал, как выбрать стек, методологию и создать идеальный Roadmap проекта внедрения корпоративного хранилища данных.
Рассказываем о том, кому стоит задуматься о внедрении DWH, как сократить вероятность ошибок на этапе разработки проекта и сэкономить ИТ-бюджеты.
Почему стоит задуматься о внедрении DWH?
Вне зависимости от отрасли количество данных для каждого бизнеса из года в год растет.
Например, в ритейле ежедневно обновляются данные из системы управления торговым залом и кассовых систем, строительство собирает данные из BPM или BIM-систем, современные производства используют системы ERP и WMS, IoT-датчики.
И абсолютно у всех есть различные бухгалтерские, CRM, HRM-системы, таблицы Excel, PDF-файлы, базы данных.
Эта информация ценна для бизнеса, с помощью ее анализа можно отследить тенденции и запланировать изменения, оптимизировать процессы, усовершенствовать взаимодействие с клиентами и поставщиками, сформировать новые конкурентные преимущества.
Но если не внедрить грамотное управление всеми этими данными, они могут стать причиной новых проблем.
Проблему хаоса в данных решает Data Warehouse (DWH, корпоративное хранилище данных, КХД) – единый репозиторий, который объединяет и структурирует текущие и исторические данные из разных источников для дальнейшего построения аналитических отчётов на их основе.
В архитектуре управления данными корпоративное хранилище занимает одну из центральных ролей.
Задуматься о внедрении КХД особенно стоит компаниям, которые:
- Осуществляют регулярный анализ большого объема разноформатных данных из разрозненных источников
- Сталкиваются с необходимостью проводить глубокий, исторический анализ данных
- Работают с высоконагруженными системами, содержащими критически важные для бизнеса данные
- Нуждаются в структурированных данных для обеспечения специфической отчетности по ролям и подразделениям
Как DWH формирует ценность бизнеса и помогает экономить?
Грамотное внедрение корпоративного хранилища данных способно сократить затраты на процесс обработки данных:
- Интегрирует процессы работы с данными в одно приложение
- Предоставляет ключевые метрики для бизнеса
- Помогает ускорить обработку сложных запросов
- Обеспечивает анализ данных в режиме реального времени
- Совершенствует процессы принятия решений
Порядок в данных, которого помогает достичь DWH, позволяет повысить ценность компании на рынке.
Согласно международным стандартам финансовой отчетности, базы данных — это нематериальный актив (intangible assets) компании, который повышает ее рыночную стоимость.
По отчету BrandFinance стоимость нематериальных активов публичных компаний по итогам 2023 года составляет 61.9 трлн.$, и растет примерно на 8% в год, в то время как материальные активы остаются на том же уровне.
Такая динамика роста говорит о том, что инвестиции в инфраструктуру управления данным выгодно влияют на капитализацию компании.
В российской практике задача оценки стоимости данных как актива до сих пор не решена, но подходы уже обсуждаются и в ближайшем будущем будут внедрены.
С какими проблемами можно столкнуться на проектах DWH?
Многие компании осознают важность внедрения корпоративного хранилища данных, однако не все понимают, что при неграмотном, хаотичном и спешном подходе проект может привести к высоким затратам и усугублению проблем в работе с данными.
В своей практике эксперты Qlever Solutions обычно сталкиваются с двумя видами сложностей клиентов при работе над проектами DWH.
- Еще не внедрили КХД и не понимают, с чего начать
В штате компании есть аналитики, которые вручную собирают данные из разных источников, но количество этих источников растёт, а качество ручного сбора падает.
В таких ситуациях при внедрении корпоративного хранилища встают вопросы:
- С чего начать внедрение DWH?
- Кто должен быть в команде внедрения, как распределить роли в проекте?
- Как навести порядок во всех существующих источниках и интегрировать их с DWH?
- Уже внедрили КХД, но хранилище только создает проблемы
В компании внедрено хранилище, но оно реализовано наспех, не учтены растущие потребности бизнеса, необходимые задачи не решаются, затраты на поддержку КХД растут.
Компания сталкивается с вопросами:
- Стоит ли проводить рефакторинг DWH?
- Какую методологию выбрать?
- Как учесть все изменения в источниках данных, бизнес-процессах, стратегии компании?
Что делать, чтобы не было «больно» на старте проекта DWH?
В первую очередь, и тем компаниям, которые уже предприняли неудачные попытки внедрения, и тем, кто находится только в начале проекта, стоит предпринять ряд похожих шагов.
Определить уровень зрелости компании в управлении данными
Прежде чем приступать к непосредственной разработке хранилища, стоит оценить, на каком уровне зрелости управления данными (Data Management Maturity Assessment, DMMA) находится компания.
1. Начальный уровень (Ad-hoc)
- Отсутствие управления процессами
- Результаты аналитики зависят от сотрудников
- Отчетность не автоматизирована и собирается вручную
- Проблемы качества данных не решаются
2. Минимальный уровень (Повторяемый)
- Определены некоторые роли и процессы
- Появляется управление процессами
- Негативные последствия низкого качества данных осознаны
- Начинается внедрение инструментов аналитики
3. Установленный уровень
- Данные становятся ценным активом
- Процессы стандартизированы
- Качество данных более прогнозируемо
- Внедряются гибкие и масштабируемые инструменты
4. Управляемый уровень
- Централизованное управление и руководство процессами
- Для оценки процессов внедрены KPI
- Внедрено управление рисками, связанными с данными
- Измеримое повышение качества данных
5. Оптимизированный уровень
- Процессы легко спрогнозировать
- Риски сведены к минимуму
- Можно измерить степень достижения целей, зависящих от управления данными
Оценка поможет понять, какие у компании есть слабые и сильные стороны в работе с данными, и куда двигаться дальше.
Понять, какую конечную задачу решает внедрение
Даже компании, которые находятся на одном уровне зрелости, могут ставить перед собой разные задачи и иметь разную готовность к изменениям.
Решать проблемы с данными каждой конкретной компании необходимо, тем способом, который будет наиболее выгоден с точки зрения вложений и дальнейшего развития, а технологии и методологии выбирать в соответствии с индивидуальными задачами.
Для того, чтобы оценить поставленные задачи на возможность реализации, стоит:
- Определить, чего не хватает в текущем процессе управления данными
- Договориться и синхронизироваться с ожиданиями у участников процесса: команда внедрения, топ-менеджмент, бизнес-пользователи
- Понять, есть ли в компании необходимые ресурсы: бюджеты, команда, технологии
На примерах реальных кейсов узнайте, как эффективно внедрить DWH
Посмотрите вебинар " Гибкие методологии в построении DWH. Как подойти к внедрению, чтобы не было "больно"?"
Спроектировать решение (стек, методология, Roadmap)
На данном этапе в основу проекта ложатся поставленные ранее задачи и цели, учитываются имеющиеся политики компании относительно безопасности данных и импортозамещения, состояние инфраструктуры, подбирается команда для реализации проекта.
На этапе проектирования необходимо выбрать стек технологий и подходящую методологию моделирования данных для хранилища.
На схеме мы показали, что DWH можно строить как на проприетарном или Оpen Source ПО, так и размещать в облаке или on-premise.
При этом используется комбинация из разных инструментов, так как идеального решения из "коробки" для построения хранилища не существует.
Проприетарные решения чаще всего требуют развертывания дополнительных программных продуктов, например, при использовании Arenadata необходимо развернуть оркестратор, и сам вендор рекомендует Open source инструмент Airflow.
Open source ПО предлагает наибольшее разнообразие продуктов, при этом одна и та же задача на проекте может закрываться несколькими средствами.
Максимальную отказоустойчивость могут обеспечить облачные решения, однако, их применение зависит от политики безопасности в компании.
Самым сложным для поддержки является вариант построения собственной инфраструктуры. Несмотря на финансовые выгоды, такой вариант требует регулярного обновления продуктов и привлечения обширного штата сотрудников (DataOps, SRE-инженеры).
Qlever Solutions внедряет хранилища данных, используя масштабируемые технологии и гибридные методологии, адаптируя лучшие практики под уникальные бизнес-задачи.Архитектура и инструменты для построения хранилища данных подбираются индивидуально в зависимости от целей, требований и возможностей каждой компании.
Подробную информацию о стеке, который чаще всего в проектах использует команда Qlever Solutions, вы можете узнать, посмотрев запись вебинара «Гибкие методологии в построении DWH. Как подойти к внедрению, чтобы не было "больно"?»
Узнайте больше о выборе инструментов для построения DWH
Посмотрите вебинар " Гибкие методологии в построении DWH. Как подойти к внедрению, чтобы не было "больно"?"
Компании могут годами строить корпоративное хранилище и тратить миллионы на систему, которая не может быть органически встроена в дальнейшую стратегию развития бизнеса.
Чтобы не было "больно" при построении или рефакторинге DWH, необходимо:
- Определить себя с точки зрения ситуации сейчас + уровень зрелости (AS IS)
- Зафиксировать истинные задачи
- Договориться о результатах (Defenition of Done)
- Спокойно спроектировать решение
- Дисциплинированно реализовывать его
Для 100% эффективности проекта стоит обратиться к экспертам с опытом внедрения DWH.
Как вам может помочь Qlever Solutions в зависимости от уровня зрелости управления данными в компании:
Проект по DWH тратит деньги, нервы и время?
Мы поможем вам сократить расходы на аудит процессов и источников и получить максимальную выгоду от внедрения корпоративного хранилища