Семь трендов в Big Data, на которые ориентируются успешные компании

Аналитики TechTarget утверждают, что только в сфере финансовых услуг объём новых данных в течение 2021 года вырастет более чем на 700%. Обрабатывая данные и извлекая из них знания, компании могут существенно повысить своё конкурентное преимущество и снизить расходы. Например, благодаря работе с Big Data Netflix ежегодно экономит порядка одного миллиарда долларов на удержании клиентов. Становясь всё более популярным направлением, Big Data обрастает многочисленными новинками: какие-то из них приживаются, другие остаются на уровне локальных экспериментов. В этой статье директор департамента поддержки продаж Arenadata Александр Тимчур рассказал о семи тенденциях, по пути которых идут наиболее успешные игроки российского и зарубежного рынков.

Аналитики исследовательской ИТ-компании Gartner в прогнозе на 2021 год предположили, что облачные сервисы станут необходимыми для 90% новых продуктов и сервисов в области данных. Наступила веха стратегии Cloud First: сохраняя собственные ИТ-системы, компании используют возможности облачных технологий, переезжая в облака как на платформу хранения данных. Это даёт им возможность максимально оперативно запускать новые проекты, быстрее проверять теории и выводить на рынок новые продукты.

Однако «распробовать» преимущества облаков бизнес смог далеко не сразу. Первостепенными для компаний были экономические аспекты: сравнивали ТСО on-premises и облачной инфраструктуры. Потом главной стала быстрая go-to-market стратегия, позволяющая оперативно масштабироваться в облаках или переносить некритичную для бизнеса рабочую нагрузку, такую как среды разработки, тестирования, обучения ML-моделей. И, наконец, компании стали переносить в облака дата-платформы потому, что не хотят держать у себя сложную инфраструктурную экспертизу. Стало расти количество дата-проектов, для которых всё чаще используются Open Source — инструменты, проверенные в мировой практике.

Cloud First даёт возможность компании отдавать часть компетенций на аутсорс. В мировой практике большинство компаний предпочитают работать на прикладном уровне, который показывает, как именно компания может извлекать из данных выгоду в контексте своего бизнеса. Компании оставляют себе только корневые компетенции в области бизнес-процессов, а всё, что связано с системным программным обеспечением, платформами данных и инфраструктурой, отдают на откуп профессионалам. Даже если заказчик не готов перейти на публичного cloud-провайдера, он хочет построить аналогичную систему внутри своей компании и найти внешнего подрядчика, который полностью закроет вопросы с масштабируемыми инфраструктурой и платформой данных.

Исследование J’son & Partners Consulting показало, что российский рынок публичных IaaS и PaaS вырос в пять раз за последние шесть лет (2014–2020) по количеству компаний-пользователей и в 2020 году составил 15,8 миллиарда рублей. В основном это представители сферы торговли и услуг (включая телекоммуникационные), ИТ, финансовые и государственные компании.

Переход на облачную инфраструктуру будет проходить активнее по мере того, как станет расти защищённость данных. Это приведёт и ко всё более динамичному функциональному развитию российских облачных провайдеров, которые со временем максимально приблизятся по возможностям к западным конкурентам.

Построение экосистемы — это самая востребованная на многих рынках бизнес-модель, которая позволяет организовать платформу для партнёрства и технологического сотрудничества.

Углубление интеграции с партнёрами — жизненная необходимость. Компании это хорошо понимают, однако продолжают задумываться о том, на каких принципах строить партнёрство. Привычные экосистемы формировались на основе площадок электронной торговли, когда на их базе множество производителей имели возможность предлагать свои продукты и услуги. Теперь же партнёрства начинают чаще строиться на базе платформ данных, когда объединяются разные участники рынка именно с целью обмена и обогащения данных друг друга.

Например, в 2020 году банк ВТБ и «Ростелеком» создали компанию «Платформа больших данных», объединив уникальные массивы обезличенных данных, технологии и компетенции.

Она уже запустила сервис по предоставлению специализированных массивов обезличенных больших данных — Geo-embedding. Его пользователи могут найти оптимальные места для открытия новых точек продаж, оценить потенциал и установить умные KPI в ранее открытых точках, сделать выводы об инвестиционной привлекательности проектов.

Дата-альянсы на российском рынке появляются всё чаще: компании из различных сегментов на базе единой платформы данных строят общие клиентские профили, обогащая их каждый со своей стороны. Например, ретейлеры, дистрибьюторы и поставщики выстраивают процессы совместного интегрированного планирования: на основании прогноза покупательского спроса более точно пополняются товарные запасы. Производственные планы строятся так, чтобы, с одной стороны, не было излишков, а с другой — чтобы объёма товаров точно хватило для тех или иных розничных точек. И если на производстве возникают какие-то ограничения, ретейлер своевременно получает эту информацию и может прогнозировать выручку от той или иной продукции, а также корректировать планы, начиная от маркетинга и заканчивая логистикой.

Так X5 Retail Group реализовала амбициозный проект, предоставив своим поставщикам набор аналитических сервисов. В режиме реального времени они смогли анализировать портрет покупателя, контролировать снижение его лояльности из-за отсутствия товаров на полке, выбирать аудиторию для рекламных кампаний и даже обрабатывать логистические данные от торговых сетей.

Если некоторое время назад крупные компании повально собирали данные, то теперь этот процесс приобрёл более осмысленный характер. Бизнес стал задумываться, какие же именно данные собирать, как их использовать, защищать и отвечать за них в поле правового регулирования.

Согласно прогнозу IDC, к 2025 году общий объём данных, генерируемых во всем мире, вырастет более чем вчетверо — до 175 зеттабайтов (для сравнения: в 2019 году это значение достигало только 40 зеттабайтов).

Предполагается, что почти 30% всех генерируемых данных будут анализироваться в реальном времени против 15% в 2017 году. При этом более 90% неструктурированных данных остаются необработанными. Это приводит к огромным потерям.

Неудивительно, что компании переосмысляют подходы к работе с данными и пересматривают потребности в их обработке. Они стараются использовать минимальный объём данных для решения конкретной задачи. Кроме того, появляется всё больше устройств, способных собирать и хранить данные самостоятельно, не нагружая централизованное хранилище. Например, мобильные приложения банков, которые удалённо выполняют большое количество задач, не связываясь ежесекундно с центральными банковскими системами обработки данных.

Некоторое время назад анализ данных преимущественно использовался для ретроспективной аналитики. Проанализировав количество проданных единиц товара в определённый год и связав эти данные, например, с прогнозом погоды, продавец мог понять, почему упали продажи.

Со временем аналитика позволила не только смотреть в прошлое, но и прогнозировать, к каким результатам приведёт то или иное решение.

Сегодня большие данные позволяют строить рекомендации, вовремя влияющие на качество бизнес-процессов. Показательный пример — цифровые двойники различного оборудования, получившие широкое распространение на производственных предприятиях. Это виртуальная копия реального объекта, которая в режиме реального времени ведёт себя так же, как он. Использование цифрового двойника позволяет проводить любые эксперименты и, анализируя, как повёл бы себя физический объект, выбирать наиболее оптимальный сценарий развития событий. Это особенно актуально при прогнозировании отказов оборудования.

Продолжают развиваться и фабрики данных (Data Fabric). Подобная архитектура предоставляет возможность из единой точки получать доступ к данным, хранящимся на различных платформах и облачных сервисах. Она помогает сократить расходы на администрирование процессов хранения и управления данными, но при этом её использование приводит к увеличению затрат на интеграционные возможности между СУБД разных типов. На помощь приходит единая платформа хранения данных, которая нивелирует избыточность хранения Data Fabric.

Сегодня компании способны с высокой производительностью обрабатывать петабайты информации. Для этого они используют технологии распределённой обработки данных, а также инструменты с открытым исходным кодом. Выявлять закономерности, аномалии и делать прогнозы бизнесу помогают системы машинного обучения и искусственного интеллекта (ИИ).

ИИ используется организациями любого размера для оптимизации и улучшения своих бизнес-процессов. Он помогает использовать большие данные для более глубокой поддержки клиентов — например, с помощью интеллектуальных чат-ботов и более персонализированного взаимодействия. При этом нет необходимости значительно увеличивать штат службы поддержки клиентов. Системы с поддержкой ИИ способны собирать и анализировать огромные объёмы информации о клиентах и пользователях, особенно в сочетании со стратегией озера данных, которая может агрегировать широкий спектр информации из многих источников.

Однако в ближайшей перспективе компаниям предстоит начать воспринимать клиента в качестве субъекта и готовиться отвечать за то, как они используют его данные. Отбирать данные нужно так, чтобы не нарушать неприкосновенность частной жизни. Например, уже сейчас любой человек может запросить у такого гиганта, как Google, информацию о том, какие его данные имеет эта компания. Клиент становится полноценным участником процесса работы с Big Data: он хочет понимать, насколько актуальна собранная о нём информация, иметь возможность внести в неё коррективы и даже монетизировать свои данные.

Эта тенденция получила название Differential Privacy (дифференциальная приватность). Она приводит к тому, что компании начинают нуждаться не в персональной информации о конкретных клиентах, а в данных о клиентских сегментах или кластерах, обладающих сходными характеристиками.

Тенденция использования Big Data в интернете вещей (IoT) не первый год набирает обороты. По данным Gartner, в 2020 году количество подключённых устройств составило 21 миллиард. Аналитики J’son & Partners Consulting пришли к выводу, что в 2019 году объём российского рынка межмашинных коммуникаций и IoT достиг 64 миллиардов рублей при 23 миллионах устройств. К 2025 году они ожидают, что в нашей стране будет не менее 56 миллионов IoT-устройств, а объём рынка интернета вещей вырастет до 86 миллиардов рублей.

Одними из первых направление интернета вещей начали развивать телеком-операторы. Например, в сети МТС по итогам первого полугодия 2019 года было зарегистрировано 8,4 миллиона IoT-устройств. В J’son & Partners Consulting считают, что до 2025 года одним из наиболее растущих рынков по подключению устройств станут сегменты мониторинга автотранспорта и дорожной инфраструктуры, ЖКХ с подключёнными счётчиками потребления ресурсов и видеонаблюдение.

Интеграция интернета вещей с машинным обучением и аналитикой данных позволяет повысить гибкость и точность ответов, получаемых с помощью машинного обучения. Крупные компании уже используют устройства интернета вещей для повышения эффективности анализа данных. Так, российские заводы проверяют исправность и оптимизируют загруженность оборудования. Использование решений IoT в логистике позволяет оптимизировать перевозки. Ретейлеры и рестораторы получают возможность анализировать поведение клиентов и делать им персональные предложения. А страховые компании активно используют страховую телематику, отслеживания манеру вождения клиентов.

Согласно прогнозам Mordor Intelligence, рынок данных как услуги (DaaS) будет расти в среднем на 10% и только в США достигнет 46,5 млрд долларов к 2025 году. Использование DaaS позволяет улучшить качество обслуживания клиентов, увеличить доход и разрабатывать улучшенные продукты и услуги.

65% респондентов в исследовательском опросе Adobe считают, что использование данных как услуги помогло им улучшить возможности анализа данных, чтобы лучше понять требования к клиентскому опыту. Согласно прогнозу FinancesOnline, доход рынка DaaS к 2023 году вырастет до 10,7 миллиарда долларов.

Пришедшие на российский рынок тенденции работы с Big Data требуют от бизнеса переосмысления многих устоявшихся процессов. И решать эти вопросы нужно уже сейчас, так как каждый тренд многогранен и постоянно эволюционирует, обрастая новыми знаниями, решениями и инструментами. К каким-то из них стоит присматриваться, постепенно внедряя их в бизнес, а на другие реагировать оперативно.