Data Science в обувном магазине: предсказали поведение клиентов и увеличили конверсию сайта на 16%

Российский производитель обуви Mario Berluchi автоматизировал маркетинг, внедрил привычные для интернет-магазинов механики, но не остановился на этом и запустил направление Data Science. Теперь магазин с помощью алгоритмов машинного обучения предсказывает действия клиента: что он сделает после добавления товара в корзину — купит или уйдет, а если уйдет, то когда вернется.

Предсказание помогает в нужный момент побуждать клиента к покупке или, наоборот, не трогать его, если он купит и так. В рамках AB-теста механика персонализации сайта на основе предсказания помогла увеличить конверсию интернет-магазина на 16,5% и ARPU на 35,7% относительно контрольной группы.

Азамат Тибилов, директор по маркетингу Mario Berluchi, рассказывает о механике с предсказанием, измерении результатов, истории запуска направления Data Science и делится советами для интернет-магазинов, которые тоже хотят растить выручку за счет полезного и основанного на данных маркетинга.

См. также: Как Mario Berluchi автоматизировал маркетинг и на 21% увеличил выручку email-канала с ROMI 5636%

Когда клиент заходит на сайт, мы записываем его действия и прогоняем через алгоритм предсказания: «купит в текущей сессии или не купит» и «вернется в течение 7 дней или не вернется». Предсказание пересчитывается раз в 10 секунд для каждого клиента.

Условия срабатывания механики:

— если в корзине есть товары,

— если не применен скидочный купон,

— если по предсказанию вероятность покупки меньше 30%,

— если по предсказанию клиент не вернется в течение 7 дней.

Если условия выполнены, клиент видит в корзине попап и решает, купить ли товар в текущей сессии или нет:

Часть клиентов в рамках теста находилась в контрольной группе и не видела попап — для неё механика была отключена, а другая часть видела. Мы сравнили в этих группах конверсию, ARPU и долю брошенных корзин — получили статистически значимые результаты с достоверностью 95%:

Изначально мы хотели построить сквозную аналитику, чтобы оценивать качество рекламных каналов в разрезе реальных покупок, потому что 50% заказов «отваливается» на этапе подтверждения.

Для сквозной аналитики было необходимо собирать данные о поведении пользователей в базу Google BigQuery. Помимо стандартных действий пользователей — добавления товара в корзину, посещения продуктовой карточки товара, совершения покупки — мы собирали еще много действий с контентом сайта — хитов. Ежедневно накапливалось более 20 тысяч строк хитов, и эти данные у нас хранились в базе, за которую мы, конечно же, платили.

При нашем трафике — более 200 тысяч пользователей в месяц — было достаточно данных, и мы проводили стандартную аналитику, например действий пользователей с контентом после каких-либо изменений, покупок после проведения акций. Потом провели брейнсторм с владельцем компании и решили попробовать помимо простой аналитики и AB-тестов построить что-то более интересное: попытаться предсказывать поведение клиентов на сайте с помощью алгоритмов машинного обучения на наших исторических данных. К таким идеям мы относимся как к внутреннему продукту, в который готовы вкладывать деньги и время, чтобы потом получить результат — рост бизнес-метрик.

В итоге собрали отдел Data Science и за полгода реализовали механику с предсказанием действий пользователя, которая повысила выручку. Таким образом мы открыли для себя новое направление бизнеса, которое приносит нам более 30% выручки и хорошо окупается.

Каждый этап запуска механик с предсказанием подразумевает работу специалистов разных по функционалу, но из смежных областей. В штате у нас:

Аналитик. Анализирует данные, находит аномалии и проводит AB-тесты.

Два специалиста Data Science. Пишут алгоритмы, которые возвращают ответы-предсказания в виде вероятности того или иного действия пользователя на сайте.

Маркетолог. Разрабатывает и запускает механики с применением алгоритмов.

Разработчик. Внедряет механики и алгоритмы на сайте.

1. Размечаем исходные данные Google Analytics с помощью Google Tag Manager и используем стриминг OWOX BI для сбора данных в базе Google BigQuery. Эти шаги занимает мало времени — с первой минуты можно видеть, как данные укладываются в базу.

2. Аналитик смотрит, насколько данные соответствуют поведению пользователей. При необходимости строит графики распределения и смотрит, насколько они качественные, есть ли хвосты. Если находятся ошибки, мы изменяем настройку стриминга или чистим данные, потому что с грязными данными невозможно работать в машинном обучении.

3. Специалисты Data Science создают признаки (feature engineering) из визитов и контента, например количество просмотренных товаров, количество добавлений товаров в избранное, количество добавленных товаров за сессию в корзину.

4. Обучаем модель на исторических данных. Допустим, мы хотим предсказывать, будет ли у пользователя следующий сеанс или вернется ли он к нам в течение 7 дней. Для этого берем исторические данные, признаки — и реализуем алгоритм. Для предсказания мы используем классификацию — биномиальный ответ в виде 1 или 0.

5. Валидируем модель на исторических данных: точность прогноза, бизнес-метрики.

Прежде всего мы смотрим на долю accuracy (долю правильных ответов) и ROC-AUC (площадь под кривой ошибок):

Accuracy (доля правильных предсказаний) 0,88 говорит о том, что в 88% случаях мы точно предсказываем, что пользователь вернется или не вернется. Precision (точность) — о том, какая доля предсказаний, что пользователь вернется, оказалась правильной. Recall (полнота) — о том, какую долю реальных возвращений мы предсказали. См. также: О метриках в машинном обучении

Помимо ответов алгоритма 1 и 0 есть еще вероятность действия в процентах. И здесь мы задаем порог: если вероятность возврата пользователя более 30% и такие пользователи чаще всего действительно возвращаются, то ответ — 1.

6. Прогнозируем действия пользователя.

7. Маркетолог разрабатывает механики для применения прогноза.

8. Запускаем АB-тест — только на новых пользователях, которые познакомились с нашим сайтом прямо сейчас. Тест длится около трех недель, и в течение этого времени мы смотрим, как меняется накопительный p-value. В какой-то момент разница между группами становится значимой, понимаем, что скоро тест можно завершать и выкатывать механику в продакшен.

9. Аналитик измеряет результаты механики.

Visit-based. На основе действий на сайте: просмотр карточек товаров, добавление товаров в корзину, покупки.

Content-based. На основе действий с контентом сайта. Сначала собираем данные о действиях пользователей: открытие таблицы размеров, добавление товара в избранное, чтение отзывов. Затем смотрим, как эти действия влияют на прокси-метрики (промежуточные конверсии до заказа) — это нужно, потому что данных по этим метрикам больше, чем заказов. Затем смотрим корреляцию прокси-метрик с показателями конверсий в покупку и возвратов.

Подходы visit based и content based пересекаются. Но в visit based мы оцениваем поведение пользователя, а в content based — сам контент.

CRM-based. Обогащение данных из CRM интернет-магазина, учет истории покупок.

1. Анализируйте данные, даже если вы маленький интернет-магазин. В данных скрыты точки роста, которые позволяют вывести бизнес на новый уровень. В современном мире с огромной конкуренцией в digital невозможно решить проблему роста бизнеса банальным вливанием денег.

2. Рост конверсии, ключевой метрики интернет-магазина, — самый сильный фактор развития вашего бизнеса.

3. Не бойтесь строить инфраструктуру и внедрять новые технологии в ваш бизнес. Внедрение машинного обучения позволяет сделать шаг вперед и уйти в отрыв от конкурентов.

4. Научитесь считать ROI от инвестиций в новые технологии. Большинство компаний боятся выделять бюджет на новые инструменты, потому что не совсем понимают, какую выгоду они получат.

Сейчас у нас в работе динамическое ценообразование — мы будем оценивать, когда на какой товар дать скидку или, наоборот, не дать. Звучит всё просто: товар часто покупают — не даем скидку, редко покупают — даем. Но мы подходим чуть глубже и шире — смотрим, где этот товар находился в каталоге, в каких маркетинговых механиках участвовал, сколько раз этот товар просматривали, сколько раз добавляли в корзину.

А следующий шаг— динамическое ценообразование для каждого пользователя.

Мы развиваем сотрудничество с Mindbox и предлагаем клиентам платформы внедрить нашу механику с предсказанием. Если хотите повторить в вашем интернет-магазине — пишите коллегам из Mindbox.

Авторы:

Азамат Тибилов, директор по маркетингу Mario Berluchi

Мария Байкаускас, менеджер Mindbox

Сёма Сёмочкин, редактор Mindbox