Аналитические системы для бизнеса: что? где? когда? а главное — зачем?

Руководитель направления разработки аналитических систем BIA Technologies Игорь Бакум объясняет, из чего складывается аналитика больших данных, кому она нужна, и какую пользу может принести крупному предприятию.

Меня зовут Игорь Бакум, и я руковожу направлением разработки аналитических систем BIA Technologies. Здесь на VC я собираюсь писать о безграничном мире бизнес-аналитики — от озер и хранилищ данных до технологий машинного обучения и упреждающих систем будущего. Можно сказать, что эта вводная статья — лишь первый шаг на длинном и разветвленном пути. Куда мы пойдем, зависит не только от меня, но и от вас. Пишите в комментариях, что именно вы хотите узнать, — я с удовольствием поделюсь своим опытом и буду рад вопросам и обмену знаниями :)

В чем заключается ценность аналитических систем?

В зависимости от того, кто или что стоит за принятием важных управленческих решений, компании можно подразделить, например, на IT-driven, business-driven или data-driven. Большинство компаний следуют business-driven подходу, при котором решения принимаются через призму опыта конкретного человека. Проще говоря, когда большой и важный начальник требует сделать что-то так, а не иначе, потому что он «сто раз так делал» и «лучше знает». Конечно, это не значит, что такой подход априори ошибочен. Богатая экспертиза и реальный многолетний опыт действительно помогают в здравой оценке той или иной ситуации. Однако даже успешные в прошлом решения не всегда работают здесь и сейчас, в контексте определенных условий и конкретной компании.

Апологеты data-driven подхода (🙋🏻‍♂) уверены, что принимать любые решения лучше на основании данных. Здесь в игру и вступают различные аналитические системы. С их помощью мы можем сложить четкое представление о текущем положении дел в компании, предсказать ее дальнейшее развитие и принять взвешенное и оправданное решение. Аналитика помогает повысить как объективность, так и скорость принятия управленческих решений.

Хотя речь может идти о решениях разного уровня, от оперативных действий на горизонте пары часов до стратегических планов развития на несколько лет вперед, data-driven подход особенно ценен именно на уровне долгосрочных масштабных решений. Если не опираться на данные, можно промахнуться — и промахнуться глобально.

Неверная или неоптимальная стратегия может привести крупную компанию к серьезным проблемам. И наоборот, взвешенные, объективные и, главное, своевременные управленческие решения могут вывести компанию на новый уровень, улучшить процесс продаж, выявить наиболее ценных лидов и помочь удержать текущих клиентов.

Из чего состоит аналитика больших данных? (aka этапность внедрения)

Может быть, не все знают, что внедрение аналитики — довольно долгий и сложный процесс. Он предполагает самые разные манипуляции с данными:

1. Информационный менеджмент.

Работа в целом с данными, включая управление данными (data governance), управление качеством, управление безопасностью, управление мастер-данными (нормативно-справочной информацией) и другое. Эта часть работы, по-хорошему, лежит на плечах бизнеса, а не интегратора, с соответствующей поддержкой ИТ-отдела.

2. Извлечение данных из источников и их обработка.

Источники при этом могут быть самыми разными, включая внутренние корпоративные системы и порталы, внешние сайты, Excel-файлы, текстовые документы и даже изображения, видео- или аудиофайлы (если у компании есть потребность в их анализе — например, анализ разговоров сотрудников колл-центра).

3. Организация данных.

Создание озер (data lakes) и хранилищ (data warehouses) данных, виртуализация данных.

4. Предоставление бизнес-аналитики.

Внедрение BI-систем, предоставление возможности самостоятельной подготовки и анализа данных (Self-Service), обучение пользователей.

5. Развертывание и интеграция с другими системами предприятия.

6. Предоставление продвинутой аналитики.

Например, развертывание и внедрение моделей на базе машинного обучения.

Этот список — одновременно оптимальная этапность при внедрении аналитической системы. По крайней мере, в идеальном, каноническом представлении. По-хорошему, компания с самого начала должна следить за качеством своих данных и определить требования к этому качеству. Руководители должны понимать, какие источники данных есть в их распоряжении. Когда данные начинают переходить в хранилище, они должны поступать уже в очищенном виде, и очищаться по понятным правилам. Компания должна разработать четкую стратегию внедрения и реализовывать ее поэтапно.

В реальности вся эта история происходит далеко не так гладко. Почти ни одна компания не думает о чистоте своих данных на старте. Данные заносятся в систему без каких-либо единых правил, что приводит к дублированию позиций и скоплению нерелевантной информации. Чтобы очистить такие данные, крупным предприятиям порой приходится открывать целые отделы по качеству данных! Часто аналитику начинают внедрять еще до того, как данные станут качественными, исходя из идеи, что базовая несовершенная аналитика лучше, чем ее отсутствие. Компании идут по пути создания MVP, и докручивают качество анализа уже по ходу дела.

Как понять, что пришло время внедрять аналитическую систему?

Некоторые компании приходят с запросом на внедрение аналитической системы с мотивировкой: «У всех есть — и я хочу». Мне кажется важным обозначить, что аналитика нужна не для того, чтобы соответствовать модным тенденциям. Аналитические системы — не самое дешевое удовольствие, поэтому об их внедрении разумно задумываться только при достижении определенной зрелости бизнеса.

Что может послужить толчком к внедрению:

1. Необходимость увеличить скорость построения отчетов.

Скажу по личному опыту, без должной BI-системы на создание отчета в крупной компании может уходить несколько часов, а иногда даже дней и недель. Если это не разовый, а регулярный отчет, то управленцы просто не смогут принимать оперативные решения на основе данных и будут полагаться исключительно на опыт и интуицию. Внедрение BI-системы сократит время на формирование нужного отчета до секунд, а если речь о действительно большом отчете, то до минут.

2. Глубокий анализ большого объема данных.

Если вам нужно составить оперативную отчетность с горизонтом в пару часов или дней, ключевая система, в которой ведется вся операционная деятельность, так же справится с этой задачей. Другое дело, если речь идет о глубоком анализе десятков и даже сотен миллионов записей на горизонте в несколько месяцев или даже лет, обычная система попросту зависнет от перенагрузки. Стоит ли говорить, что деградация производительности ключевой системы — серьезный удар по деятельности компании.

3. Необходимость консолидации сразу нескольких систем.

Если при составлении оперативного отчета вы используете только один источник данных, то вам с большой вероятностью хватит штатных средств рабочей системы, будь то CRM, HR или ERP. Если же вам нужно собрать данные из нескольких систем — это хороший индикатор того, что пора обращаться за помощью к специализированным аналитическим решениям.

4. Потребность в анализе «нестандартных» данных.

Если помимо классических таблиц и данных из внутрикорпоративной системы вам необходимо анализировать неструктурированные тексты, изображения, аудиозаписи или видео, то это еще один хороший повод начать смотреть в сторону аналитических систем.

Обычные системы для организации операционной деятельности в принципе не предназначены для создания изысканных высокоуровневых отчетов. Анализ просто не входит в перечень основных функций ERP-систем — они ориентированы, в первую очередь, на внесение данных. В таких системах не очень развиты средства визуализации, в них нет специальных механизмов, форматов хранения под аналитические данные, нет функции консолидации информации из разных источников и т. д. Когда всего этого начинает ощутимо не хватать — вот тогда пора думать о специализированных аналитических решениях.

Приведу пример из практики BIA Technologies. Один наш клиент ежемесячно формировал большой маркетинговый отчет, данные для которого выгружались из разных баз, а затем группировались и обогащались специалистом. На всё про всё уходило до двух недель. После того как мы перевели этот процесс на BI-систему, весь процесс (включая консолидацию и подготовку данных для BI-системы) сократился до двух часов, а в самой BI-системе интерактивный отчет формировался с откликом в считанные секунды. Вот таких вау-эффектов можно добиться при грамотном подходе к аналитике. Главное только «созреть». Да, теоретически можно просто нанять отдельного сотрудника, который будет заниматься исключительно составлением отчетов. И да, возможно, его десятилетняя зарплата всё равно обойдется дешевле, чем комплексное внедрение BI-системы. Но в какой-то момент снежный ком отчетов, источников и человеческих ошибок нарастает, что может привести к несвоевременным решениям руководства, и вопрос внедрения аналитической системы встает ребром.

P. S. В следующих статьях я могу поделиться практическим опытом внедрений, рассказать о подходах к созданию data-driven культуры в масштабах крупного предприятия, оценить мировые тренды в сфере анализа данных, обсудить стратегии обеспечения беспрепятственного потока данных между системами или поделиться секретами оптимизации работы подразделений техподдержки с помощью машинного обучения. Пишите, что вам интересно, и я постараюсь удовлетворить ваш интерес ;)