Robotic BI. Почему роботы должны писать отчеты

Сегодня производители аналитических платформ сделали ставку на self-service BI. По их замыслу нужно дать людям средства для доступа ко всем данным компании и позволить им самостоятельно строить любые отчеты. Аналитикой должны начать пользоваться все сотрудники компании - от CEO до охранника, все найдут для себя нужные данные, будут использовать в своей работе.

Для таких людей как я это звучит здорово - в несколько кликов вытащил данные по клиентам, выручку, сделал разрезы по типам проектов. Проблема в том, что для 99% сотрудников любой компании это все пустой звук.

Про self-service BI речь не идет. На самом деле даже готовыми отчетами человеку без подготовки воспользоваться в своей работе довольно сложно. Отчет это просто набор фактов. Прежде, чем извлечь из этих фактов пользу нужно сделать еще один шаг - провести анализ.

Делать анализ - это работа аналитика. Нужно понять, о чем говорят факты:

• Что мы имеем
• В чем причина
• К чему это приведет
• Что с этим делать

С первыми тремя пунктами разбирается аналитик, а вот с четвертым уже бизнес-пользователь.

Все, что сказано выше не отменяет пользы BI. Да, я тоже считаю, что все от CEO до охранника могут улучшить или радикально изменить работу, если будут лучше понимать свои процессы.

Поскольку просто отчетов недостаточно, нам понадобится много аналитиков, которые будут их объяснять. Это, конечно, утопия, никто не будет их в таком количестве нанимать, да и нет их столько)

Вот мы и подобрались к Robotic BI. Нам нужны роботы-аналитики. Не гуглите этот термин, на эту тему практически ничего нет. Ближайшая существующая концепция это RPA - Robotic Process Automation.

Идея RPA в том, чтобы избавить людей от рутины - переноса данных, файлов, отправки сообщений, подготовки отчетов и прочего. Это очень близко к тому, что нам нужно.

Чего мы хотим от BI роботов:

• Собрать данные. Нужна помощь в выгрузке данных из разных систем, переброске в хранилище данных.
• Сделать отчеты. Нужно на основе моделей данных сделать расчеты и представления, показывающие взаимосвязь между данными.
• Проанализировать отчеты. Нужно объяснить причины текущего состояния и сказать, что будет дальше. Возможно предложить решения.
• Доставить результаты анализа пользователям. Тоже очень важно, чтобы человек пользовался результатами анализа, они должны быть постоянно перед глазами

Разберем подробнее каждый из этих пунктов:

• Сбор данных

С этим пунктом как раз все неплохо, эта сфера Data Engineering, она сейчас здорово развивается. Человечество научилось довольно легко доставать данные из любых источников, которые само же изобрело в предыдущие десятилетия. Есть интерфейсы для работы с локальными и облачными сервисами и хранилищами. Есть оркестраторы для организации потоков данных, регулярного экспорта и трансформации данных.

Все это доступно любой компании за небольшие деньги.

• Подготовка отчетов

Тут тоже большой прогресс, особенно последние несколько лет. Это те самые BI платформы, с которых мы начали разговор. Можно построить довольно сложные модели, которые будут описывать взаимосвязи между всеми имеющимися данными. Можно рассчитать сводные показатели. Можно развернуть данные в любых разрезах. Можно сделать отчеты, выглядящие не хуже глянцевого журнала.

• Анализ отчетов

Ну вот тут все не очень хорошо. Нас пытаются вдохновить новинками - Machine learning, Predictive analysis, говорят, что нужно исследовать данные статистическими методами и искать инсайты.

Но проблемы пользователя отчетов проще. Нужно через призму цифр и графиков понять, что происходит в твоем бизнес-процессе и как можно решить проблемы или улучшить работу. Люди не готовы к этой аналитической работе, ее нужно передать работам.

• Доставка аналитики

Эту проблему нужно тоже решать. Не хочет никто смотреть в отчеты. В первую очередь, потому что они не понятны) Об этом в предыдущем пункте. Второе - это проблемы коммуникации. Краткое саммари, которое сделал робот, нужно доставить в канал, где люди его посмотрят, обсудят и придумают, что делать.

Такие каналы, конечно, есть - Slack, Teams, на крайний случай email. Подойдут вообще любые мессенджеры, если они обязательны для использования в компании. Наша задача, регулярно поставлять туда аналитику.

Итак, самый проблемный у нас третий пункт. Нужно как-то сделать автоматизированный анализ отчетов.

Поскольку массовых готовых решений нет, это поле для экспериментов. Наша задача - упростить принятие решений, объяснить сложное простым человеческим языком. Это должны быть краткие саммари, содержащие несколько основных цифр и краткие текстовые комментарии.

Нужно сократить до нескольких секунд время от взгляда на отчет до инсайта. Всю работу по анализу нужно проделать автоматически и предъявить только сжатые результаты и рекомендации.

Мы видим потенциал именно в этом направлении и потихоньку пробуем реализовать его в своем продукте. Проект это сложная система, где связаны много вещей - ресурсы, деньги, задачи, время. Каждая часть влияет на все остальные. Увеличение бюджета, например, может быть вызвано изменением объема работ. Объем работ может измениться из-за изменения рамок проекта или ошибки в оценке трудозатрат на старте.

Просто глядя на цифры, человеку сложно в этом разобраться. Приходится тратить время, копаться и анализировать. Мало кто это готов делать. Есть также и нежелание привлекать внимание руководства к проблемам на проекте. Роботизированная аналитика решает оба этих вопроса.

Теперь немного о технологической цепочке. Можно строить решение на любой платформе, мы разберем на примере технологий Microsoft:

• Для сбора данных используем Azure Data Factory. Он поможет собирать данные из локальных баз, подключаться к облачным сервисам через API. Данные будем складывать в Azure SQL и Azure Data Lake. Если речь идет о Big Data, то поможет Azure Synapse.
• Расчеты данных и подготовка отчетов. Для этого используем Power BI, он поможет в построении моделей данных, обеспечит разграничение доступа.
• Автоматизированный анализ. Тут тоже можно использовать Power BI. Нужно проводить анализ иерархии показателей и делать выводы - что на что повлияло. Потом переводить все это в текстовые комментарии.
• Доставка отчетов. Нужно экспортировать отчеты из Power BI и пересылать либо встраивать их в каналы коммуникаций - Slack, Teams, Telegram, Asana, Мегаплан и прочие.

Конечно, не я сформулировал эту проблему. Мучения пользователей понимают все и в первую очередь сами пользователи. Решение нащупывается в области Data Storytelling. Gartner, например, пишет об этом здесь, прогнозирует изменение парадигмы BI в своих отчетах по этой теме.

Посмотрим, как это все будет развиваться. Делаю ставку на Robotic BI, просто люблю роботов)