Бигдата вокруг нас. И что с того?

Про большие данные что-то да слышали все. Но что это такое и для чего нужно, имеет представление далеко не каждый. А ведь они, и в самом деле, вокруг нас. Так что стоит разобраться, что вообще корректно называть "бигдатой" и как бизнес, работающий не в IT-отрасли, может извлечь из больших данных пользу.

Бигдата вокруг нас. И что с того?

Минутный дата-ликбез

Принадлежность данных к большим (да, бывают и маленькие) определяется по формуле 3V:

Volume — объём.

Velocity — скорость.

Variety — многообразие.

Что она означает? Согласно этой формуле, большие данные — это совокупность разных данных, поступающих из разнообразных источников и генерируемых непрерывно. Объём и интенсивность появления этих данных настолько велики, что для их обработки и хранения требуются специальные технологии.

При этом данные передаются в самых разных форматах и поступают от самых разных источников — из соцсетей, с сайта, датчиков, камер видеонаблюдения или других протоколирующих систем. В общем, отовсюду, где генерируется некая информация, которую нужно записать и где-то хранить для последующего анализа.

Как бизнес может использовать большие данные?

Весь мир можно относительно точно описать с помощью разных данных: цветов, значений атмосферного давления, температуры, влажности воздуха, букв, цифр, интенсивности солнечного излучения, геопозиции и т.д. Если упростить — каждую конкретную ситуацию мы представляем в виде набора неких признаков, которые её характеризуют.

В случае с Big data этих признаков очень много, они разнообразные и ёмкие, что позволяет строить более правдоподобные модели происходящего.

Анализ больших данных используется для предиктивной аналитики, изучения потребительского поведения, персонализации, оптимизации логистических цепочек и рекламных кампаний. При этом его можно использовать практически везде: от розничной и онлайн-торговли до строительства и производства.

С помощью платформ данных бизнес может вырабатывать решения, которые помогут снизить издержки, повысить прибыль, автоматизировать рутину и упростить процессы, которые отнимают много времени у квалифицированных специалистов.

Пара примеров.

Страховой кооператив NTUC Income использует платформу по обработке и анализу данных, чтобы автоматизировать рабочие процессы и снизить долю ручного труда. Анализ больших данных помогает компании принимать важные решения — устанавливать цены на продукты и обеспечивать адекватные резервы для страхового портфеля.

До внедрения платформы аналитики компании постоянно сталкивались с несогласованностью данных в конечном анализе и отчетах. Другой проблемой была неэффективность некоторых инструментов обработки при работе с огромными объемами информации. Поэтому специалистам приходилось вручную настраивать представления данных для потребителей внутри компании.

Все эти проблемы решились, когда NTUC Income внедрили единое решение по работе с данными. Автоматизация и объединение разрозненных процессов значительно снизили время на рутинные задачи, а в некоторых случаях сократили несколько дней ручной работы до одного часа.

Dtc-проект Gymashark, полностью полагающийся на цифровые методы продвижения, принимает маркетинговые решения, основываясь на анализе данных. Они используют множество разных источников, чтобы получить целостное представление о клиентах, и рекомендовать им продукты, которые лучше всего соответствуют их запросам.

С помощью платформы данных проект успешно автоматизирует свой маркетинг. Например, планирует расположение всплывающих окон на сайте и в приложении. Раньше этот процесс занимал примерно 2 недели, а после внедрения анализа ускорился в 37 раз — за 5 минут платформа сравнивает 5 разных мест на сайте и определяет лучшее для каждого объявления. Также компания использует автоматизацию, анализируя партнерский маркетинг, рынки и эффективность продаж по продуктам.

Как устроены платформы по обработке и анализу данных?

Как же работают эти «машины инсайтов»? Технически платформа состоит из четырех больших блоков. Они содержат программные компоненты, связи между этими компонентами и процессы, обеспечивающие работу блока.

  • Первичное получение данных. Этот блок обеспечивает сбор данных из источников и постановку их в очередь обработки.
  • Обработка данных. Во втором блоке происходит главная «магия» — данные обрабатываются и готовятся к использованию.
  • Хранение данных и аналитика. Задачи третьего блока — хранение сырых и обработанных данных, создание отчетов и дашбордов на основе готовых запросов.
  • Инфраструктурное обеспечение платформы. Платформу по обработке данных можно представить в виде завода с набором конвейеров. Но конвейеры даже на самом технологически продвинутом предприятии иногда надо ремонтировать и обновлять. Именно эти задачи решает четвёртый блок.

Любой блок — это несколько процессов. Для работы каждого из них необходимо своё ПО, которое настраивает специалист по работе с данными. В целом платформа — это сложная система со множеством взаимосвязей, и чем она больше, тем сложнее и дороже в эксплуатации.

Сложно ли внедрить платформу обработки и хранения данных?

Процесс внедрения платформы тесно связан с data driven-подходом в бизнесе, и интегрировать её без цифровизации процессов в компании бессмысленно. Начать надо с ТЗ и цели — чего вы хотите добиться\достичь с помощью анализа данных?

Важно помнить, что работа с данными — это, прежде всего, инвестиции. Они не дают мгновенного эффекта. Вся аналитика проходит в несколько этапов, от выдвижения гипотез через их визуализацию к тестам и окончательному решению, что нужно поменять в бизнес-модели.

Готовьтесь к тому, что кроме денег, придётся инвестировать и время ваших самых высококвалифицированных сотрудников. Примерная команда для внедрения выглядит следующим образом:

  • Data-стратег — регулирует процессы и контролирует ситуацию в целом.
  • Директор по данным — решает управленческие вопросы.
  • Аналитик — собирает метрики и следит за важными показателями.
  • Исследователь — разрабатывает алгоритмы машинного обучения.
  • Инженер — работает с программным обеспечением.
  • Стюард — следит за качеством наборов данных.
  • Архитектор — проектирует хранилища данных.

Процесс внедрения проходит по следующим этапам:

  • Детальное описание и анализ существующей проблемы или процесса, который нужно автоматизировать.
  • Экономическое обоснование внедрения.
  • Разработка технического задания.
  • Разработка стандартов и инструкций, написание документации.
  • Проектирование платформы.
  • Установка, настройка и конфигурация ПО.
  • Развертывание платформы в облаке или на собственных серверах.
  • Обучение персонала и организация технической поддержки.

Как видите, даже если отвести на каждый этап минимальные идеальные сроки — неделю, внедрение займет не меньше двух месяцев.

В целом интеграция и настройка платформы — серьезная нагрузка для отдела RnD и специалистов компании. Она будет занимать значительное время ваших лучших экспертов и отнимать его у других проектов. Прибавьте сюда затраты на серверы или облачные ресурсы, сопутствующие траты, и тогда у вас появится приблизительное представление о стоимости такого проекта.

А дальше для результативной работы платформы понадобится персонал. Вот минимальный состав команды эксплуатации:

  • Программист — для написания необходимых адаптеров.
  • Дата-инженер — для создания ETL-процессов и подключение источников данных.
  • DataOps-инженер — для конфигурирования ПО и технического сопровождения работы платформы.

"Зачем мне это всё?"

Конечная цель работы с большими данными — это польза для бизнеса. Например, выявление неочевидных закономерностей.

Для аналитики данных платформа интегрируется со специализированными системами. Их принято называть BI — Business intelligence. Это довольно широкое понятие, которое включает в себя не только цифровую составляющую — приложения и технологии, но и способы и методы "извлекать" полезную информацию из данных. В целом работа “бизнес-разведки” сводит всю информацию о компании в единую систему, готовую для анализа и построения гипотез.

Возьмем распространенную проблему — пользователи редко возвращаются в приложение и не делают повторных покупок. Менеджер по продукту думает, что внедрение пуш-уведомлений решит проблему, и хочет быстро протестировать это предположение. Поможет в этом BI-система.

Для теста аналитик создаст план измерений, куда занесет все метрики, которые необходимо отслеживать, чтобы подтвердить или опровергнуть эту гипотезу. Например, количество кликов по пушу и процент конверсий в повторную покупку. И настроит на эти метрики автоматическое получение данных из приложения. Когда тест закончится, аналитик сможет сделать вывод о его эффективности и окончательном внедрении новой фичи в продукт.

Как снизить затраты на внедрение?

Если вы пришли к выводу, что внедрение платформы обработки больших данных стоит всех этих вышеописанных усилий, стоит подумать о готовом решении. Кроме очевидной выгоды в виде экономии на разработке есть и другие преимущества такого варианта.

Опишем их на примере нашей платформы по обработке и анализу данных.

Адаптивность. С одной стороны, у нашей платформы сформировалась типовая архитектура, отработанная на проектах, которые мы реализовывали для наших клиентов. Это позволяет фактически убрать затраты на проектирование. С другой, она может оперативно масштабироваться или изменяться под любую бизнес-задачу.

Простота в обслуживании. Мы используем ПО с открытым кодом. И это не только отменяет vendor lock, но и снижает издержки. Всегда можно нанять подходящего специалиста или найти решение сложной проблемы с помощью комьюнити.

Сроки и издержки. Благодаря опыту и отлаженным процессам, внедрение платформы пройдет быстрее и в разы дешевле, чем аналогичный проект, который вы будете реализовывать своими силами. Не придётся тратить ресурсы на наём, координацию, проектирование и при этом расходовать дорогостоящее время ведущих экспертов.

В качестве итога

Цикл зрелости технологии обработки больших данных прошли всего за 3 года — от теорий использования в 2011 до первых платформ для предиктивной аналитики, BI и анализа данных в 2014.

При этом горизонт развития тут совершенно фантастический, ведь, как мы писали ранее, данные находятся буквально везде. Сегодня никакого удивления не вызывают фильмы-катастрофы, где учёные с помощью массива данных предсказывают такие глобальные процессы, как климатические изменения и стихийные бедствия. И не возникает сомнений, что завтра мы научимся делать нечто подобное и в реальности.

Нет, речь не идёт о некоем аналоге Скайнета, скорее, о цифровом помощнике, который поможет взглянуть на свою компанию по-новому. Помните, как Стив Джобс решил пересобрать представление о мобильном телефоне с помощью новых технологий? Возможно, платформа данных поможет вашему бизнесу совершить похожую прорывную трансформацию. Так что не надо бояться пробовать новое и идти в ногу со временем.

Но главное — в 2022 году, в отличие от 2014, вы можете опробовать новое решение, а не рисковать вслепую. Как? — с помощью этой демо-версии. Экспериментируйте на здоровье!

1212
Начать дискуссию