Business Intelligence и бизнес-аналитика: стратегия, этапы, процессы и инструменты

Все бизнесы работают с данными — информацией, генерируемой множеством внутренних и внешних источников компании. Эти каналы данных служат органами чувств руководства, предоставляя ему информацию о том, что происходит с бизнесом и рынком. Следовательно, любое ошибочное представление, неточность или нехватка информации могут привести к искажённому восприятию ситуации на рынке и неверному пониманию внутренних операций, что в свою очередь несёт за собой ошибочные решения.

Для принятия решений на основе данных необходимо чётко видеть все аспекты своего бизнеса, даже те, о которых вы не думаете. Но как превратить неструктурированные фрагменты данных в что-то полезное? В этом вам поможет business intelligence.

Мы уже говорили о стратегии организации машинного обучения. В этой статье мы расскажем о том, как интегрировать business intelligence в существующую корпоративную инфраструктуру. Вы узнаете, как подготавливается стратегия business intelligence и интегрируются инструменты в рабочие процессы компании.

Начнём с определения: business intelligence (BI) — это набор практик по сбору, структурированию, анализу и превращению сырых данных в картину бизнеса, позволяющую принимать решения. BI применяет методики и инструменты, преобразующие неструктурированные массивы данных, компилируя их в понятные отчёты или информационные дэшборды. Основное предназначение BI — создавать картину бизнеса и обосновывать принятие решений при помощи данных.

Весь процесс business intelligence можно разделить на четыре этапа:

Самая большая часть реализации BI — применение инструментов, выполняющих обработку данных. Инфраструктуру BI образуют различные инструменты и технологии. Чаще всего эта инфраструктура содержит следующие технологии хранения и обработки данных, а также формирования отчётности:

Чтобы узнать больше о части business intelligence, касающейся инжиниринга данных, можно прочитать нашу статью или посмотреть видео:

Business intelligence — это технологический процесс, сильно зависящий от входных данных. Технологии, используемые в BI для преобразования неструктурированных или частично структурированных данных, также могут использоваться для data mining, а также во фронтенде для работы с big data.

Определение business intelligence часто сбивает с толку, ведь оно пересекается с другими областями знания, в частности, с прогнозной аналитикой. Серьёзной ошибкой было бы считать, что business intelligence и прогнозная аналитика (predictive analytics) — это одно и то же.

По сути, business intelligence — это методика анализа данных, отвечающая на вопросы что происходило? и что происходит?. Этот тип обработки данных также называется дескриптивной аналитикой. При помощи дескриптивной аналитики компании могут исследовать состояние рынка в своей отрасли, а также собственные внутренние процессы. Анализ исторических данных помогает выявлять слабые места и потенциал бизнеса.

Прогнозная аналитика занимается предсказаниями на основании обработки данных событий прошлого. Прогнозная аналитика не проводит анализ исторических событий, а делает прогнозы о бизнес-тенденциях будущего. Оба этих типа прогнозов основаны на анализе событий прошлого. Поэтому BI и прогнозная аналитика могут использовать для обработки данных одинаковые техники. В какой-то степени, прогнозная аналитика может считаться следующим этапом business intelligence. Подробнее об этом можно прочитать в нашей статье, посвящённой моделям зрелости аналитики.

Обе методики анализа обращаются к трём основным типам управления данными:

Предписывающая аналитика — это третий тип, нацеленный на поиск решений задач бизнеса; он предлагает действия для их решения. В настоящее время предписывающая аналитика (prescriptive analytics) реализуется при помощи многофункциональных инструментов BI, однако эта область знаний в целом не развилась до достаточно надёжного уровня.

Весь процесс интеграции инструментов BI в вашу организацию можно разбить на знакомство сотрудников компании с business intelligence как с концепцией и на саму интеграцию инструментов и приложений. Ниже мы расскажем об основных пунктах интеграции BI и раскроем некоторые сложности.

Начнём с основ. Чтобы приступить к использованию business intelligence в вашей организации, вам первым делом нужно объяснить значение BI всему руководству. Здесь важно взаимопонимание, поскольку в обработку данных будут вовлечены сотрудники различных отделов. Поэтому нужно обеспечить согласованность, чтобы никто не путал business intelligence с прогнозной аналитикой.

Ещё одно предназначение этого этапа — объяснение концепции BI основным руководителям, задействованным в управлении данными. Вам нужно определить задачу, над которой вы будете работать, задать KPI и организовать специалистов, чтобы запустить собственный проект business intelligence.

Важно заметить, что на этом этапе вы, строго говоря, будете делать допущения об источниках данных и стандартах, которые будут задаваться для управления потоком данных. На последующих этапах вы сможете проверить верность своих допущений и сформировать процесс обработки данных. Именно поэтому нужно быть готовыми к изменению каналов получения данных и структуры команды.

Задаём цели, KPI и требования

Первым важным шагом после обеспечения общего видения обстановки будет определение задачи или группы задач, которые вы будете решать с помощью business intelligence. Установка целей позволит вам определить высокоуровневые параметры BI, например:

На этом этапе наряду с целями вам нужно продумать возможные KPI и метрики оценки для проверки успешности выполнения задачи. Это могут быть физические ограничения (выделенный на разработку бюджет) или показатели результатов работы наподобие скорости запросов или частота отчётов об ошибках.

К концу этого этапа вы уже сможете сконфигурировать исходные требования к будущему продукту. Это может быть список фич в бэклоге продукта, состоящий из user story, или упрощённая версия этого документа с требованиями. Главное здесь то, что на основании требований вы должны понять, какой тип архитектуры, фичи и возможности необходимы в ваших ПО/оборудования для BI.

Составление документа с требованиями к системе business intelligence — ключевой момент для понимания, какой инструмент вам нужен. Крупным компаниям стоит задуматься о разработке собственной экосистемы BI, и на то есть следующие причины:

Более мелким компаниям рынок BI предлагает огромное количество инструментов, способных работать как встроенные, так и облачные (Software-as-a-Service) технологии. Можно найти предложения, покрывающие все или почти все потребности в анализе данных для конкретной отрасли и имеющие гибкие возможности.

Исходя из требований, типа отрасли, размера и потребностей бизнеса вы сможете принять решение о необходимости вложений в собственный инструмент BI. В противном случае, можно выбрать поставщика, который возьмёт на себя ношу реализации и интеграции.

Далее вам нужно будет собрать группу людей из разных отделов компании, чтобы поработать над стратегией business intelligence. Зачем вообще создавать такую группу? Ответ прост: команда BI помогает собрать представителей разных отделов для упрощения коммуникации и получения предложений отделов о требуемых данных и их источниках. То есть структура команды BI должна включать в себя две основные категории людей:

Представители предметной области из разных отделов

Эти люди будут отвечать за предоставление команде доступа к источникам данных. Также они вкладывают свои знания предметной области в выбор и интерпретацию различных типов данных. Например, специалист по маркетингу может определить, являются ли ценными типами данных трафик веб-сайта, процент отказа или количество подписок на рассылку. Специалист по работе с клиентами может дать ценные советы о взаимодействии с клиентами. Кроме того, вы получите доступ к информации о маркетинге или продажах от одного человека.

Должности, относящиеся к BI

Вторая категория людей — это люди, относящиеся к BI, которые будут вести процесс разработки и принимать архитектурные, технические и стратегические решения. То есть вам необходимо назначить людей на следующие должности:

Руководитель BI. Этот человек должен обладать теоретическими, практическими и техническими знаниями для поддержки реализации стратегии и инструментов. Это может быть руководитель со знанием business intelligence и доступом к источникам данных. Руководитель BI — это человек, принимающий решения, управляющие реализацией.

Инженер BI — это технический участник команды, специализирующийся на создании, реализации и настройке систем BI. Обычно инженеры BI имеют опыт в разработке ПО и конфигурировании баз данных. Также они хорошо должны владеть методиками и техниками интеграции данных. Инженер BI может руководить отделом ИТ в реализации инструментария BI. Подробнее о специалистах по данным и их обязанностях можно узнать из нашей статьи.

Также частью команды BI должен стать аналитик данных, способный применять свои знания в валидации, обработке и визуализации данных.

Собрав команду и выбрав источники данных, требуемые для решения конкретной задачи, можно приступать к разработке стратегии BI. Документировать стратегию можно при помощи традиционных стратегических документов наподобие дорожной карты продукта. Стратегия business intelligence может включать в себя различные компоненты, зависящие от отрасли, размера компании, конкуренции и бизнес-модели. Однако рекомендуются следующие обязательные компоненты:

Источники данных

Это документация выбранных каналов источников данных. В неё должны быть включены все типы каналов, будь то руководитель, аналитика отрасли в целом или информация от сотрудников и отделов. Примерами таких каналов могут быть Google Analytics, CRM, ERP и так далее.

Отраслевые/собственные KPI

Документирование стандартных отраслевых и уникальных для вас KPI может продемонстрировать полную картину развития и потерь вашего бизнеса. В конечном итоге, инструменты BI созданы для отслеживания этих KPI, поддерживая их дополнительными данными.

Стандарты отчётности

На этом этапе нужно определить, какой тип отчётности вам требуется для удобного извлечения ценной информации. В случае собственной системы BI можно выбрать визуальное или текстовое представление. Если вы уже выбрали поставщика, возможности выбора стандартов отчётности могут быть ограничены, поскольку поставщик устанавливает собственные. В этот раздел также можно включить типы данных, с которыми вы хотите работать.

Тип потока отчётности и конечные пользователи

Конечный пользователь — это человек, который будет наблюдать за данными через интерфейс инструмента отчётности. В зависимости от конечных пользователей можно выбирать различные типы потока отчётности:

Традиционная BI. Традиционно BI проектировалась исключительно для руководства. Поскольку количество пользователей и типов данных ограничено, необходимость в полной автоматизации отсутствует. Поэтому в традиционном типе потока BI требуется технический персонал в качестве посредника между инструментом отчётности и конечным пользователем. Если конечный пользователь хочет извлечь какие-то данные, то он может сделать запрос, а технический персонал сгенерирует отчёт из требуемых данных. В таком случае отдел ИТ действует как power user — пользователь, имеющий доступ к данным и влияющий на их преобразования.

Традиционный подход предлагает более безопасный и управляемый поток данных. Однако необходимость полагаться на отдел ИТ может привести к задержкам, снижающим гибкость и скорость в случае обработки больших объёмов данных (особенно в случае big data). Если вы стремитесь к большему контролю над отчётностью и к точности отчётов, то соберите отдельную команду ИТ, которая будет заниматься запросами и формированием отчётов.

BI с самообслуживанием. Современные компании и поставщики решений используют BI с самообслуживанием. Такой подход позволяет бизнес-пользователям и руководству получать отчёты, автоматически генерируемые системой. Для автоматической отчётности не требуются power user (администраторы) из отдела ИТ, обрабатывающие каждый запрос к хранилищу данных; однако для настройки системы всё равно нужен технический персонал.

Автоматизация может снизить качество конечных отчётов и их гибкость, а также быть ограниченной тем, как спроектирована отчётность. Однако у такого подхода есть преимущество: для работы с системой не нужно постоянное участие технического персонала. Не обладающие техническими знаниями пользователи смогут создать отсчёт самостоятельно или получить доступ к выделенному разделу хранилища данных.

Этап интеграции инструментов потребует много времени и работы отдела ИТ. Если вам требуется создание собственного решения, то придётся разработать множество различных структурных элементов архитектуры BI. В остальных случаях вы можете выбрать поставщика на рынке, предоставляющего подходящие вам реализацию и структурирование данных.

Один из базовых элементов любой архитектуры BI — это хранилище данных. Хранилище — это база данных, хранящая информацию в установленном формате, обычно структурированном, классифицированном и очищенном от ошибок. Если данные предварительно не обрабатываются, инструмент BI или отдел ИТ не смогут запросить их. Поэтому нельзя напрямую соединять хранилище данных (data warehouse) с источниками информации. Вместо этого следует использовать инструменты ETL (Extract, Transform, Load) или инструменты интеграции данных. Они предварительно обработают сырые данные из исходных источников и передадут их в хранилище за три последовательных этапа:

Обычно инструменты ETL предоставляются в готовом виде вместе с инструментами BI, разработанными поставщиком. (Ниже мы рассмотрим самые популярные из них). Чтобы узнать, что нужно для очистки и подготовки данных, прочитайте нашу статью.

Хранилище данных

Сконфигурировав передачу данных из выбранных источников, необходимо настроить хранилище. Хранилища данных в business intelligence — это особые типы баз данных, обычно хранящие историческую информацию в форматах SQL. С одной стороны хранилища соединены с источниками данных и системами ETL, с другой — с инструментами отчётности или интерфейсами дэшбордов. Это позволяет отображать данные из различных систем в едином интерфейсе.

Однако хранилище обычно содержит огромные объёмы информации (от 100 ГБ), из-за чего ответы на запросы оказываются достаточно медленными. В некоторых случаях данные могут храниться в неструктурированном или частично структурированном виде, что приводит к высокой частоте ошибок при парсинге данных для генерирования отчёта. Для аналитики может потребоваться определённый тип данных, который ради простоты использования сгруппирован в одном пространстве хранения. Именно поэтому компании используют дополнительные технологии для предоставления ускоренного доступа к мелким тематическим блокам информации.

Существуют различные типы решений, используемых для предоставления аналитике небольших частей данных из хранилища. Самый популярный из них — это Online Analytical Processing и киоск данных. Эти технологии обеспечивают ускорение отчётности и упрощение доступа к необходимым данным.

Рекомендации: если вы не обладаете большими объёмами данных, то достаточно будет использовать простое SQL-хранилище. Дополнительные структурные элементы наподобие киоска данных потребуют больших дополнительных затрат, не обеспечивая при этом никакой ценности. Этот вариант подходит мелким бизнесам или отраслям, работающим с относительно небольшими объёмами данных.

Хранилище данных + кубы данных Online Analytical Processing

Находящиеся в хранилище данные имеют две размерности, напоминающие обычный формат электронной таблицы (таблицы и строки). Способ хранения данных в таком хранилище также называется реляционной базой данных. Одна база данных может включать в себя тысячи типов данных, поэтому обработка запросов к хранилищу данных занимает существенное время. Чтобы удовлетворить потребности аналитика и обеспечить быстрый доступ к данным, их анализ в разных измерениях, группировать их по необходимости, используются кубы данных OLAP.

OLAP или online analytical processing (интерактивная аналитическая обработка) — это технология, обрабатывающая данные и предоставляющая к ним доступ одновременно в нескольких измерениях. Структурирование данных в кубы позволяет преодолеть ограничения хранилища данных.

Куб данных OLAP — это структура данных, оптимизированная для быстрого анализа данных из баз данных SQL (хранилища). Исходные данные кубов из хранилища данных являются уменьшенной версией её описания. Однако структура данных предполагает, что существует больше двух измерений (формат строк и столбцов электронных таблиц). Для формирования отчёта размерности являются критически важными элементами. Например, для отдела продаж они могут быть такими:

Кубы образуют многомерную базу данных информации, которую можно адаптировать, чтобы группировать информацию разными способами для ускорения создания отчётов. Кубы данных OLAP, посвящённые разным тематикам данных, образуют базы данных OLAP. Хранилище и OLAP используются совместно, поскольку кубы хранят относительно малый объём данных и применяются для удобства обработки.

Рекомендация: архитектуру «хранилище данных + кубы данных OLAP» можно считать типичной. Её могут использовать компании любого размера, которым требуются хранение данных и сложный многомерный анализ информации. Если вы не хотите перегружать хранилище запросами, то рассмотрите возможность использования архитектуры с OLAP.

Технологии хранилища данных + киоска данных

Хранилище — первый и самый крупный элемент архитектуры business intelligence. Менее масштабным описанием массивов данных хранилищ является киоск данных. Киоск данных — это специализированная часть хранилища, собирающая тематически схожую информацию, относящуюся к конкретному отделу. При помощи киосков данных отделы могут получать доступ к требуемым данным, поскольку киоски предоставляют информацию, относящуюся к одной из сфер бизнеса. Это значит, что разработчикам не придётся настраивать для конечных пользователей систему запросов на основе разрешений.

Рекомендация: «хранилище данных + киоск данных» — второй по популярности архитектурный стиль, основанный на использовании киосков данных для распространения требуемой информации по отделам. Такой подход может использоваться для настройки постоянной отчётности или упрощения доступа к информации без предоставления разрешений конечным пользователям.

Гибридная архитектура

Корпоративным бизнесам могут требоваться различные варианты управления данными. Киоски и кубы данных — это разные технологии, но обе они используются для описания меньших объёмов информации из хранилища. Киоски данных описывают подмножество хранилища данных, относящееся к конкретной задаче, но реализовать их можно по-разному. Среди вариантов реализации есть реляционные базы данных (хранилище или любая другая база данных SQL) и многомерные структуры, по сути, являющиеся кубами данных OLAP. То есть для управления данными и их распределения по отделам организации можно использовать обе технологии.

Рекомендация: можно использовать обе технологии, поскольку они поддерживают одну концепцию, но служат разным целям. Киоски данных можно реализовать как часть хранилища данных для обеспечения безопасности, агрегирования данных или доступности. Или можно использовать киоски как описание нескольких размерностей куба данных OLAP. Однако стоит иметь в виду, что и киоски, и кубы данных OLAP потребуют отдельной настройки баз данных.

Данные, упорядоченные в удобные тематически связанные блоки информации в кубах Online Analytical Processing или киосках данных представляются при помощи интерфейса пользователя инструментов BI. Именно здесь дескриптивный анализ приносит пользу конечному пользователю.

Современные инструменты BI позволяют представить требуемые данные множеством различных способов. В прошлом business intelligence могла создавать только статичные отчёты на основании событий будущего и прошлого. Сегодня BI способна создавать интерактивные дэшборды с настраиваемыми порциями информации. Однако самым популярным способом представления данных остаются шаблоны отчётности.

Наиболее ценным способом представления информации считается оперативный отчёт (ad hoc report). Оперативная отчётность позволяет пользователям углубиться в подробности стандартного отчёта, используя любые типы данных для единовременного применения. Такой тип отчётности применяется вместо ежедневных или ежемесячных отчётов в качестве более полной версии, поскольку пользователь будет извлекать данные из хранилища (куба или киоска данных) непосредственно в момент просмотра отчёта. Это гарантирует свежесть информации, представленной запрашиванием из баз данных каждого элемента информации. То есть, по сути, оперативный отчёт — это настраиваемый отчёт в реальном времени, используемый для поиска ответов на конкретный бизнес-вопрос.

Чтобы процесс онбординга сотрудников был плавным, мы крайне рекомендуем провести обучающие сессии. Эти сессии могут принимать разный вид: если вы используете аналитический инструмент, встроенный в CRM или ERP, то можно применить практики онбординга наподобие видеоинструкций или интерактивных инструментов онбординга, последовательно проводящих пользователей через все этапы.

Если у вас нет бюджета на автоматизацию обучения, то менеджер или участники команды BI всё равно должны его провести.

Важно упомянуть, что поставщики инструментов BI предоставляют пользователям инструменты интеграции данных, ETL, отчётности (дэшборды), а также услуги хранения. Это означает, что чаще всего вы получите полную архитектуру BI, интегрированную в вашу систему. Ниже мы расскажем о некоторых примерах поставщиков инструментов business intelligence.

Sisense

Sisense — одно из крупнейших имён на рынке business intelligence. Продукт компании обеспечивает доступ к системам анализа данных в бэкенде и фронтенде для пользователей с разным техническим уровнем. Также Sisense предлагает услуги хранения данных, то есть обеспечивает полнофункциональное решение. В качестве модели ценообразования используется ежегодная подписка, однако на её стоимость сильно влияют количество пользователей, объёмы данных и тип проекта.

Zoho Analytics

Ещё одно крупное имя в отрасли business intelligence — это Zoho Analytics. Zoho предлагает полную инфраструктуру с масштабируемым интерфейсом как для малых, так и для больших бизнесов. Среди прочих полезных функций она предлагает открытые RESTFUL API для подключения всех необходимых систем CRS и ERP, площадки совместной работы сотрудников или руководства.

Tableau

Tableau — это облачное решение BI, первым использовавшее в инструментах отчётности интерфейсы drag-and-drop. ПО Tableau тоже имеет функции совместной работы: для аналитиков можно создать единую страницу входа для доступа к дэшборду и обмена информацией. Можно выполнять запросы данных так, чтобы они передавались на мобильное устройство. В приложении Tableau можно изменять отчёты и сохранять изменения прямо через телефон.

SAP

SAP — международная компания, предлагающая множество технических решений, в том числе продукты пакет Business Objects Business Intelligence и Cloud Analytics. Первый продукт — это базовое решение для бизнесов любого размера. Платформа предоставляет услуги умных запросов и оперативной отчётности. Кроме того, дэшборд-отчётность использует формат на основе должностей, то есть любой пользователь может настроить аналитический дэшборд в зависимости от своей должности. Дополнительное преимущество заключается в простоте интеграции продуктов SAP с продуктами Microsoft Office.

BusinessQ

Решения BI компании BusinessQ разработаны специально для мелкого и среднего бизнеса. BusinessQ предлагает как отдельное веб-приложение, так и embedded-версию, встраиваемую в приложение клиента.

Domo

Платформа BI Domo — это решение, в первую очередь рассчитанное на использование в облаке и предназначенное для бизнесов любого размера. Сервис масштабируем, что позволяет ему работать и с big data, и с мелкими корпоративными базами данных. Domo обеспечивает доступ к дэшбордам реального времени, использует реализованные в кубах OLAP киоски данных, обеспечивающие многомерный анализ и разделение данных по отделам.

Qlik

Qlik — это поставщик услуг business intelligence, предоставляющий различные продукты для визуализации данных, интерактивного дэшбординга и самостоятельного создания отчётности. Инфраструктуру можно реализовать на мощностях клиента или в облаке. Кроме того, Qlik предлагает доступ к списку публичных массивов данных в качестве источников информации.

Инструменты business intelligence существуют уже более двадцати лет. Однако внешний вид и базовая функциональность «стандартного» инструмента BI существенно изменились. Вместо простой статической отчётности каждый поставщик сегодня предлагает оперативную отчётность или интерактивные дэшборды для совместной работы аналитиков. Кроме того, для обычных задач бизнеса стандартом становится BI с самообслуживанием, позволяющая предпринимателям выполнять аналитику с меньшей тратой ресурсов. Следуя общим техническим тенденциям, в BI появились такие нововведения, как облачные платформы и мобильная отчётность BI.

Таким образом, зная основные тенденции и технологии, используемые в этой отрасли, вы сможете создать собственную систему BI или выбрать готовую; это позволит вам создавать простые для понимания отчёты для обоснования своих решений. Business intelligence больше не является привилегией высшего руководства, это инструмент совместной работы для всей организации. Подберите подходящего поставщика и используйте все необходимые функции, чтобы ваши сотрудники могли пользоваться результатами BI.

Понравилась статья? Еще больше информации на тему данных, AI, ML, LLM вы можете найти в моем Telegram канале “Роман с данными”

Обо всем этом читайте в “Роман с данными”

Автор оригинала: altexsoft.com

#bisinessintelligence #бизнесаналитика #BI #ETL #хранилищеданных #OLAP #sisense #zohoanalytics #tableau