4 задачи, которые решает идеальная Customer Data Platform

Статья о том, как Customer Data Platform помогает максимально эффективно решать задачи сбора и обработки большого количества информации из разных источников.

Аббревиатура CDP не нова, но под ней порой понимают очень разное. Часто даже задачи CRM называют CDP.

В контексте данной статьи Customer Data Platform — это система, которая обладает пятью ключевыми функциями (о них ниже) и решает главную задачу — объединить все данные о ваших клиентах в одном месте и предоставить их вашим специалистам и внутренним системам в удобном виде.

Далее будем описывать CDP на примере решения, разработанного командой ADV 2 года назад и успешно апробированного у ряда заказчиков.

Все больше компаний осознают важность сбора и анализа данных о своих клиентах для повышения качества сервиса и роста различных показателей. Однако есть ряд проблем:

Без решения этих проблем компания не видит картину целиком и не может полноценно анализировать и применять весь объем имеющейся у нее информации.

Еще один момент: важно находить пересечения в оффлайн и онлайн аудиториях: один покупатель в магазине и один покупатель на сайте — это два разных человека или один? Не имея возможности объединить данные, мы сталкиваемся с базовой проблемой — а как вообще оценить объем нашей аудитории?

В итоге рано или поздно компании приходят к осознанию, что необходимо единое пространство, в котором удастся собрать все данные и предоставить возможность для их обработки всем подразделениям и системам. Таким решением является Customer Data Platform (CDP).

1) Получение данных и/или самостоятельная выгрузка данных из источника.

2) Хранение данных — процесс накопления всех входящих данных для предоставления их для работы различным потребителям в любой момент времени. Важно учитывать, что данный инструмент хранения (БД) должен быть рассчитан на большие объемы сырых событий и способен быстро обрабатывать запросы на получение больших пачек данных

3) Объединение данных — процесс, который ищет пересечения в данных из разных источников и строит на основании этого связь между событиями разных пользователей

4) Промежуточная обработка данных и построение агрегатов – набор процессов, в рамках которых производятся различные вычисления, дедупликация и группировка больших кусков данных в более емкие представления, например, по дню или месяцу вместо сплошного списка событий за каждую секунду, которыми затем может с легкостью пользоваться любой потребитель.

5) Дистрибуция данных потребителям – последняя, но не менее важная фича, которая отвечает за способы доставки данных конечным пользователям или потребителям с возможностью управления правами доступа и различными дополнительными настройками форматов и представлений данных.

Как некоторые компании решают эту задачу? С помощью людей: одного, нескольких или даже целого штата аналитиков в зависимости от количества источников, которые регулярно проделывают рутинную работу по сбору и анализу информации. Производительность при таком подходе зависит от человеческого фактора, а также ограничена возможностями ПК и софта. Да, он определенно имеет место быть, но ведь задача бизнеса максимально ускорить процесс, особенно, когда речь идет про работу с данными, а значит без автоматизации не обойтись. Когда процессы автоматизированы, потребитель получает текущие самые свежие данные без задержки, а бизнес экономит человекоресурсы.

Автоматизация механизма потокового сбора данных из разных источников, которые затем сразу становятся доступны для всех пользователей платформы, будь то маркетолог, бизнес-аналитик или система BI репортинга, позволяет отслеживать изменения, например, поведения покупателей в реальном времени.

В рамках собственного продукта мы выстроили универсальную платформу, которая состоит из ряда микросервисов, легко масштабируется, и может быть оперативно развернута на площадке клиента. Наша CDP построена на ELT (Extract Load Transform) подходе к обработке данных и позволяет собирать данные в полном объеме из большого количества источников при большой нагрузке, а уже затем по необходимости трансформировать их для конкретных целей потребителей.

Такой подход дает ряд преимуществ:

Мы организовали единое хранилище, с возможностью поддержки стримингового формата сохранения событий из всех наших источников данных. Уже в этот момент вы сможете получить значительное преимущество от внедрения CDP, благодаря тому, что данные собраны в одном месте, структурированы и доступны для работы большинству потребителей.

Эта задача наиболее актуальна при выстраивании омниканальной коммуникации с покупателями в оффлайн и онлайн: из-за множества источников данных, у каждого из которых свои идентификаторы, один и тот же покупатель может “задваивать” показатели в отчетах, так как будет определяться как два разных человека. Например, в оффлайн и на сайте или на сайте и в мобильном приложении. Из-за этого практически невозможно выстроить сквозную аналитику между всеми источниками. Страдает и качество персонализации контента, поскольку данные о пользовательском поведении получаются неполными и не совсем достоверными.

Рассмотрим еще пару примеров, когда эта задача становится наиболее актуальной:

Здесь уже не обойтись ручными способами. Их необходимо автоматизировать. Пока мы не объединим данные, все пользователи из множества систем будут для нас как разные люди, хотя это не так.

Для решения этой задачи в CDP должен быть реализован механизм, который позволяет в реальном времени строить единый клиентский профиль. Это дает бизнесу возможность извлечь из данных дополнительную ценность и расширить варианты их применения.

Как же реализован механизм определения пользователя по разным каналам? Мы реализовали это с помощью того, что во входящих данных имеется огромное количество различных признаков пользователей, с помощью которых мы можем определить события, связанные с одним конкретным покупателем в разных источниках. Данный механизм обрабатывает все входящие события на потоке и ищет в них пересечения этих признаков, на основе чего строит единый профиль пользователя и присваивает всем событиям внутренний идентификатор клиента. Благодаря этому мы можем в любой момент времени получить полную картину действий потребителей в разных каналах и использовать эту информацию для более точного анализа данных, репортинга, машинного обучения и предиктивной аналитики и т.д.

У каждой крупной компании обычно есть четыре и более источников информации, которые передают данные в среднем о 30 и более различных вариантах событий пользователей. При этом даже минимальные 4 источника способны генерить несколько миллионов событий в сутки. Это достаточно приличный поток информации, и для некоторых потребителей будет сложно работать напрямую с такими объемами, а кто-то вовсе не заточен под это и для них нужно делать промежуточные агрегации и витрины данных.

Если не выстроить поверх вашего хранилища механизмы трансформации, то минимум с чем вы столкнетесь — это необходимость ограничивать выгружаемые данные небольшими периодами и низкой скоростью их поставки потребителям. В этом случае, например, обновление одного отчета может занимать более 2х часов или не осуществиться вовсе.

Как CDP эффективно решает эту задачу?

Мы разработали ряд методик и процессов агрегации сырых данных, на основе которых можем за минимальные сроки строить витрины любой сложности. В процессе агрегации заранее производятся все необходимые вычисления, дедупликация и трансформация данных из разных источников сразу в единые представления, откуда затем потребитель может получить все данные одним простым запросом.

Дополнительным преимуществом нашего подхода к агрегации является прозрачность процесса, при котором мы легко можем управлять порядком выполнения пайплайнов, планировать их регулярное выполнение, следить за ходом процесса и фиксировать логи каждого действия.

На картинке ниже представлен живой пример того, как 19 разных типов событий, которые при этом могут принадлежать разным источникам, обрабатываются и сливаются в итоге в одно представление. Это один из примеров реального нашего кейса, в котором удалось сократить время обновления для каждого отчета с 2х и более часов до 5-10 минут.

Множество потребителей данных внутри компании требует такого же множества различных способов получения информации. У всех разный уровень доверия и доступа. Помимо этого, каждый потребитель предполагает свой формат и способ получения данных.

Мы выделили несколько логических групп по способу взаимодействия с пользователями CDP:

Важно отметить, что каждый из этих способов требует тщательной проработки, ввиду того, что мы имеем дело с данными покупателей, а значит в них могут присутствовать персональные данные.

В рамках нашего продукта уже реализованы перечисленные способы передачи данных пользователям:

Также отмечу, что в системе реализован интерфейс для управления выгрузками и отправкой сегментов потребителям, но важно добавить, что инструмент может поставляться как с собственным интерфейсом, так и быть с легкостью интегрирован через API в уже существующие системы заказчика.

Если говорить про преимущества конкретно нашего решения, то оно позволяет:

C помощью CDP компании открыты абсолютно все двери, чтобы начать использовать объединенные данные для решения и других задач:

Список вариантов применения может быть любым, в зависимости от того, какие задачи вы хотите решить.

Резюмируя хочется сказать вот что: CDP — это не просто инструмент сбора и обработки информации. Это живая, дышащая часть вашей бизнес-стратегии по выстраиванию качественного клиентского сервиса. Для этого нужно постоянно дорабатывать, фокусировать и настраивать свою стратегию обработки данных, чтобы использовать их по максимуму во благо компании и ее клиентов.