4 задачи, которые решает идеальная Customer Data Platform

Статья о том, как Customer Data Platform помогает максимально эффективно решать задачи сбора и обработки большого количества информации из разных источников.

Аббревиатура CDP не нова, но под ней порой понимают очень разное. Часто даже задачи CRM называют CDP.

В контексте данной статьи Customer Data Platform — это система, которая обладает пятью ключевыми функциями (о них ниже) и решает главную задачу — объединить все данные о ваших клиентах в одном месте и предоставить их вашим специалистам и внутренним системам в удобном виде.

Далее будем описывать CDP на примере решения, разработанного командой ADV 2 года назад и успешно апробированного у ряда заказчиков.

Все больше компаний осознают важность сбора и анализа данных о своих клиентах для повышения качества сервиса и роста различных показателей. Однако есть ряд проблем:

• количество источников данных о пользователях: системы веб-аналитики, CRM, ERP, рекламные кабинеты и так далее – постоянно увеличивается,
• данные из каждого источника собираются отдельно и их сложно объединить,
• у данных множество потребителей, и при этом нет настроенных процессов дистрибуции данных,
• многие потребители не готовы работать с сырыми данными и требуют их предобработки.

Без решения этих проблем компания не видит картину целиком и не может полноценно анализировать и применять весь объем имеющейся у нее информации.

Еще один момент: важно находить пересечения в оффлайн и онлайн аудиториях: один покупатель в магазине и один покупатель на сайте — это два разных человека или один? Не имея возможности объединить данные, мы сталкиваемся с базовой проблемой — а как вообще оценить объем нашей аудитории?

В итоге рано или поздно компании приходят к осознанию, что необходимо единое пространство, в котором удастся собрать все данные и предоставить возможность для их обработки всем подразделениям и системам. Таким решением является Customer Data Platform (CDP).

1) Получение данных и/или самостоятельная выгрузка данных из источника.

2) Хранение данных — процесс накопления всех входящих данных для предоставления их для работы различным потребителям в любой момент времени. Важно учитывать, что данный инструмент хранения (БД) должен быть рассчитан на большие объемы сырых событий и способен быстро обрабатывать запросы на получение больших пачек данных

3) Объединение данных — процесс, который ищет пересечения в данных из разных источников и строит на основании этого связь между событиями разных пользователей

4) Промежуточная обработка данных и построение агрегатов – набор процессов, в рамках которых производятся различные вычисления, дедупликация и группировка больших кусков данных в более емкие представления, например, по дню или месяцу вместо сплошного списка событий за каждую секунду, которыми затем может с легкостью пользоваться любой потребитель.

5) Дистрибуция данных потребителям – последняя, но не менее важная фича, которая отвечает за способы доставки данных конечным пользователям или потребителям с возможностью управления правами доступа и различными дополнительными настройками форматов и представлений данных.

• Сбор и обработка потока данных из разных источников в одном месте

Как некоторые компании решают эту задачу? С помощью людей: одного, нескольких или даже целого штата аналитиков в зависимости от количества источников, которые регулярно проделывают рутинную работу по сбору и анализу информации. Производительность при таком подходе зависит от человеческого фактора, а также ограничена возможностями ПК и софта. Да, он определенно имеет место быть, но ведь задача бизнеса максимально ускорить процесс, особенно, когда речь идет про работу с данными, а значит без автоматизации не обойтись. Когда процессы автоматизированы, потребитель получает текущие самые свежие данные без задержки, а бизнес экономит человекоресурсы.

Автоматизация механизма потокового сбора данных из разных источников, которые затем сразу становятся доступны для всех пользователей платформы, будь то маркетолог, бизнес-аналитик или система BI репортинга, позволяет отслеживать изменения, например, поведения покупателей в реальном времени.

В рамках собственного продукта мы выстроили универсальную платформу, которая состоит из ряда микросервисов, легко масштабируется, и может быть оперативно развернута на площадке клиента. Наша CDP построена на ELT (Extract Load Transform) подходе к обработке данных и позволяет собирать данные в полном объеме из большого количества источников при большой нагрузке, а уже затем по необходимости трансформировать их для конкретных целей потребителей.

Такой подход дает ряд преимуществ:

• у компании есть все входящие данные в сыром виде, которые она может использовать по мере необходимости
• у компании есть постоянный доступ к полному объему данных для проведения любой аналитики над ними
• компания может быстро добавлять новые источники данных
• доступная начальная стоимость внедрения

Мы организовали единое хранилище, с возможностью поддержки стримингового формата сохранения событий из всех наших источников данных. Уже в этот момент вы сможете получить значительное преимущество от внедрения CDP, благодаря тому, что данные собраны в одном месте, структурированы и доступны для работы большинству потребителей.

• Объединение данных от источника к источнику

Эта задача наиболее актуальна при выстраивании омниканальной коммуникации с покупателями в оффлайн и онлайн: из-за множества источников данных, у каждого из которых свои идентификаторы, один и тот же покупатель может “задваивать” показатели в отчетах, так как будет определяться как два разных человека. Например, в оффлайн и на сайте или на сайте и в мобильном приложении. Из-за этого практически невозможно выстроить сквозную аналитику между всеми источниками. Страдает и качество персонализации контента, поскольку данные о пользовательском поведении получаются неполными и не совсем достоверными.

Рассмотрим еще пару примеров, когда эта задача становится наиболее актуальной:

• Директорам по маркетингу и продажам необходимо понять, как показ рекламы на одной из интернет-площадок влияет на покупки в оффлайне. У них есть данные по трафику в мобильном приложении и интернет-магазине, информация из рекламного кабинета, системы веб-аналитики, данные с касс и программы лояльности. Как весь этот объем информации объединить, найти закономерности и при этом отследить пользователей в каждом канале коммуникации?
• Вам необходимо выстроить взаимодействие только с сегментом тех пользователей, которые, например, купили товары определенной категории. В этом случае нужные нам данные снова раскиданы между различными источниками.

Здесь уже не обойтись ручными способами. Их необходимо автоматизировать. Пока мы не объединим данные, все пользователи из множества систем будут для нас как разные люди, хотя это не так.

Для решения этой задачи в CDP должен быть реализован механизм, который позволяет в реальном времени строить единый клиентский профиль. Это дает бизнесу возможность извлечь из данных дополнительную ценность и расширить варианты их применения.

Как же реализован механизм определения пользователя по разным каналам? Мы реализовали это с помощью того, что во входящих данных имеется огромное количество различных признаков пользователей, с помощью которых мы можем определить события, связанные с одним конкретным покупателем в разных источниках. Данный механизм обрабатывает все входящие события на потоке и ищет в них пересечения этих признаков, на основе чего строит единый профиль пользователя и присваивает всем событиям внутренний идентификатор клиента. Благодаря этому мы можем в любой момент времени получить полную картину действий потребителей в разных каналах и использовать эту информацию для более точного анализа данных, репортинга, машинного обучения и предиктивной аналитики и т.д.

• Обработка больших объемов данных

У каждой крупной компании обычно есть четыре и более источников информации, которые передают данные в среднем о 30 и более различных вариантах событий пользователей. При этом даже минимальные 4 источника способны генерить несколько миллионов событий в сутки. Это достаточно приличный поток информации, и для некоторых потребителей будет сложно работать напрямую с такими объемами, а кто-то вовсе не заточен под это и для них нужно делать промежуточные агрегации и витрины данных.

Если не выстроить поверх вашего хранилища механизмы трансформации, то минимум с чем вы столкнетесь — это необходимость ограничивать выгружаемые данные небольшими периодами и низкой скоростью их поставки потребителям. В этом случае, например, обновление одного отчета может занимать более 2х часов или не осуществиться вовсе.

Как CDP эффективно решает эту задачу?

Мы разработали ряд методик и процессов агрегации сырых данных, на основе которых можем за минимальные сроки строить витрины любой сложности. В процессе агрегации заранее производятся все необходимые вычисления, дедупликация и трансформация данных из разных источников сразу в единые представления, откуда затем потребитель может получить все данные одним простым запросом.

Дополнительным преимуществом нашего подхода к агрегации является прозрачность процесса, при котором мы легко можем управлять порядком выполнения пайплайнов, планировать их регулярное выполнение, следить за ходом процесса и фиксировать логи каждого действия.

На картинке ниже представлен живой пример того, как 19 разных типов событий, которые при этом могут принадлежать разным источникам, обрабатываются и сливаются в итоге в одно представление. Это один из примеров реального нашего кейса, в котором удалось сократить время обновления для каждого отчета с 2х и более часов до 5-10 минут.

• Обеспечение надежного и достаточного доступа к данным для каждого потребителя

Множество потребителей данных внутри компании требует такого же множества различных способов получения информации. У всех разный уровень доверия и доступа. Помимо этого, каждый потребитель предполагает свой формат и способ получения данных.

Мы выделили несколько логических групп по способу взаимодействия с пользователями CDP:

• через прямой доступ к хранилищу
• через пользовательский интерфейс выгрузки данных
• через интеграции с потребителями

Важно отметить, что каждый из этих способов требует тщательной проработки, ввиду того, что мы имеем дело с данными покупателей, а значит в них могут присутствовать персональные данные.

В рамках нашего продукта уже реализованы перечисленные способы передачи данных пользователям:

• Прямой доступ к хранилищу. Реализована ролевая модель, по которой специалист получает доступ к определенному набору обезличенных сырых событий либо заранее подготовленным для него агрегированным витринам.
• Передача данных другим внешним пользователям. Реализован отдельный механизм экспорта, который обладает рядом уникальных особенностей:

1. формирование сегментов по заданным условиям через указание SQL запроса или с помощью набора тегов пользователей;
2. несколько вариантов форматов выгружаемых данных для разных потребителей;
3. возможность деления данных по количеству строк и объему;
4. несколько вариантов шифрования итоговых выгрузок.

• Прямые интеграции. С некоторыми системами уже реализована прямая интеграция (ExpertSender и рекламный кабинет Facebook), количество подобных интеграций будет расти по мере развития продукта.

Также отмечу, что в системе реализован интерфейс для управления выгрузками и отправкой сегментов потребителям, но важно добавить, что инструмент может поставляться как с собственным интерфейсом, так и быть с легкостью интегрирован через API в уже существующие системы заказчика.

Если говорить про преимущества конкретно нашего решения, то оно позволяет:

• уменьшить время между действием пользователя и получением его потребителем данных
• хранить данные внутри бизнеса, что отвечает требованиям безопасности
• работать с большим количеством данных
• предоставлять данные в полном объеме для проведения аналитики
• объединять данные из разных источников
• запускать механизмы агрегации данных и построения витрин
• настраивать уровни доступа и методы получения данных потребителями
• использовать готовые модули-потребители

C помощью CDP компании открыты абсолютно все двери, чтобы начать использовать объединенные данные для решения и других задач:

• репортинг с помощью подключения любых BI инструментов
• предиктивная аналитика, кластеризация, выявление аномального поведения и фрода с помощью возможности подключения инструментов ML
• персонализация акционных предложений и рекомендательные системы, программы лояльности
• сегментация аудитории на основе любых признаков пользователя из всех подключенных источников данных, и применение полученных сегментов, например, для рекламных кампаний, емайл и пуш рассылок
• настройка сложных триггерных цепочек на основе действий пользователя в разных источниках

Список вариантов применения может быть любым, в зависимости от того, какие задачи вы хотите решить.

Резюмируя хочется сказать вот что: CDP — это не просто инструмент сбора и обработки информации. Это живая, дышащая часть вашей бизнес-стратегии по выстраиванию качественного клиентского сервиса. Для этого нужно постоянно дорабатывать, фокусировать и настраивать свою стратегию обработки данных, чтобы использовать их по максимуму во благо компании и ее клиентов.