UX Rocket - швейцарский нож для продуктовых экспериментов и аналитики
Я выявлял и приоритизировал гипотезы для своего b2c SaaS продукта. И начал искать платформу для запуска AB-тестов, UX-аналитики. Наткнулся на обзор сервисов продуктовой аналитики и помимо известных мне Optimizely и ABtasty, увидел UX Rocket.
Не встречал ранее этот сервис, поэтому перешёл на сайт и изучил фичи:
- Простая интеграция;
- Авторазметка и фиксация всех событий;
- AB и MVT тестирование, ИИ оптимизация тестирования гипотез;
- Прогнозирование длительности экспериментов (с помощью машинного обучения);
- Персонализация и CX (Customer Experience) для целевых сегментов.
Сейчас, будучи пользователем платформы и действующим продакт-менеджером, хочу поделиться личным опытом о UX Rocker на примерах и показать начинку.
Знакомство с платформой
Зашёл на сайт и заполнил форму. Вскоре, со мной связался менеджер и договорился на демо.
Презентация заняла 30-40 минут. Показали личный кабинет с реальными данными, примерами AB-тестов, результатами, конверсиями, графиками, диаграммами сэнки с путями пользователей, примерами ИИ-рекомендаций по улучшению конверсий и т.п.
Особенности UX Rocket
Выделю полезные особенности, которые узнал во время использования системы:
- Консультации с тех. спецом входят в абонплату. В абонентскую плату входят услуги технического специалиста по настройке, составлению скриптов ab-тестов, подсказки по интерпретации данных после тестов и консультации. Время работ варьируется от тарифа и можно обсудить индивидуальные условия.
- Работает из коробки. Сразу после подключении скрипта на сайт, статистика собирается и выводятся в “сырых данных”. По умолчанию будет собираться метка времени, идентификатор сессии и пользователя, url, тип действия, действие, локация, устройства, UTM-метки и т. д. При необходимости, можно добавить свои атрибуты.
- Необходимый функционал для продуктовых экспериментов. Возможность проводить как А/В тестирование, так и MVT (мультивариантное тестирование, если по простому — комбинации нескольких тестов)
- Статистическая оценка теста. Система предоставляет автоматические рекомендации по изменению правил показа при достижении 95% достоверности тестов. Если тест не достиг статистической значимости, то вам об этом будет уведомление.
- Выделенные серверные мощности. UX Rocket запускает под каждый проект отдельные серверные мощности (для нейронки) , поэтому анализ данных происходит быстро.
- UX Rocket отечественная разработка. Зарегистрированное отечественное ПО (на сайте есть ссылка из Реестра) , данные хранятся на серверах в Москве или у заказчика (onprem) . В общем, удовлетворяют требованиям закона о персональных данных (152-ФЗ) . Amplitude, и другие привычные платформы, не доступны для покупки многим российским компаниям (кому-то прямо запретили пользоваться зарубежными сервисами, например гос. компаниям и около них) .
- Есть хранилище файлов на сервере UX Rocket.
Чем я не пользовался, но эти фичи имеются
- CDP (платформа данных о клиентах). В моём тарифе этой опции не было, но она есть в расширенном тарифе;
- Интеграция с Яндекс Директ;
- Мобильный SDK (для iOS и Android) и клиентская аналитика. Можно связать аналитику из приложения и с сайта;
- Сбор аналитики из offline;
- UX Rocket можно развернуть на своем сервере. Тогда станет доступным сбор персональных данных. Я пользовался облачным решением, поэтому такой функционал не работал.
Кому подходит система
Среднему и крупному бизнесу с большой посещаемостью сайта и необходимостью точно замерять конверсии и пользовательские пути.
С UX Rocket могут работать:
- Продакт-менеджеры и аналитики;
- Руководители департаментов/ отделов продаж;
- Директора/руководители отдела маркетинга и маркетологи;
- Руководители digital продаж.
Многие эксперименты, при базовом знании JS и функционала системы, можно производить самостоятельно, не дергая коллег-программистов.
Какие задачи решает
- Повышение метрик продукта и увеличение доходов в цифровых каналах с помощью проверки гипотез (AB тестирование) и точной аналитики;
- Анализ поведения пользователей, определение ошибок в пути пользователей, поиск инсайтов;
- UX персонализация, персонализация по сегментам и отслеживание влияния на конверсию;
- Связь аналитики с оффлайн событиями.
В общем, помогает принимать решения на основе данных.
Интеграция на сайт
Тут всё просто, нужно разместить скрипт в и начнётся сбор сырых данных.
Сбор данных и настройка
Большинство настроек, может сделать тим лид/маркетолог/продакт, без знаний программирования.
Например, система автоматически собирает действия посетителей сайта:
- openpage – переход на страницу;
- closepage – закрытие страницы;
- buttons – нажатие на кнопку;
- links – клик на гиперссылку;
- lists – выбор элемента в выпадающем списке.
Можно подключить сбор дополнительных событий:
- show – показ всплывающего элемента (диалоги, баннеры)
- click – клик по элементу на странице (например, баннер) ;
- change – нажатие на радио кнопки и переключатели (checkbox и radiobutton) ;
- field – данные из поле ввода при потере фокуса (переход на другое поле).
Очень удобно, что не требуется предварительная разметка сайта или настройка событий. Данные собираются автоматически после установки тега или SDK. Но для сбора всей необходимой информации, например со страницы оплаты, вам нужно будет прописать скрипты, чтобы данные поступали к остальной аналитике.
Сводка
Когда события, воронки, эксперименты и т.п. настроены — ваш экран будет выглядеть так:
Виджеты можно настраивать (содержимое) и менять внешний вид, например есть: линейный график, круговая диаграмма, круговая диаграмма (кольцо) , горизонтальная и вертикальная столбчатая диаграмма.
Отчеты
Чтобы от данных был толк, нужно создать достаточно большое количество воронок и экспериментов. А дальше анализировать и делать на их основе новые эксперименты.
Для наглядного отражения перемещений посетителей по сайту (или приложению), есть диаграмма сэнки:
Сможете анализировать клиентские пути, воронку продаж и точки потери трафика. Отчеты доступны в общем и по сегментам посетителей.
Анализ данных помогает выявить проблемные точки и сформулировать гипотезы для запуска А/В и MVT-тестов, сократив сроки и стоимость тестирования.
AB-тестирование
Мой кейс
Я выделил около 30 гипотез и приоритезировал по RICE. Первое, что хотелось проверить — гипотезу про отключение бесплатного тарифа. У нас, в личном кабинете, есть пробный тариф. И была идея, что его наличие снижает вероятность покупки.
Проверяем
Для наглядности, приведу упрощенную схему создания AB-теста:
1. Создаём кампанию для AB-теста. Далее будет возможность назначить даты теста, если он ограничен по времени.
2. Пишем скрипт. В моём случае, просто отключаем первую строку в таблице (сделал через jQuery)
3. Во вкладке Страницы указываем соответствие скрипту страницы Оплата
4. Отладка.
Перед публикацией экспериментов, нужно их проверить. Для этого в разделе А/В тестирование -> Отладка, выбираем наш сайт. На сайте будет видна панель отладки:
5. Публикуем AB-тест.
После публикации, скрипт срабатывает и бесплатного тарифа уже нет.
Итоги AB-теста
После 3 недель теста и сбора статистики, эксперимент “без бесплатного тарифа”, показал конверсию в оплату на ~9% выше, чем при наличии бесплатного тарифа.
Бесплатный тариф мы отключили и будем наблюдать динамику на промежутке 1-2 месяца. И, позже, сравним показатели (LTV, ARPU, Retention, Revenue и т. п.) , чтобы объективно оценить изменения.
Чтобы бы я улучшил в UX Rocket
Платформа развивающаяся (пробил через whois домен, домен зарегистрирован 16 марта 2022г.) , и есть что улучшить, например:
- Добавить онбординг внутри платформы. Есть подробная документация, но проще знакомиться с платформой через подсказки и видео уроки;
- Добавить демо-версию кабинета, чтобы можно было самостоятельно посмотреть функционал. Да и сэкономить время тех. специалиста, который проводит презентацию;
- Доработки интерфейса, например мне не хватает хлебных крошек, для навигации или прелоадер скрывается, а данные на странице ещё не появились. Это мелочи и, думаю, со временем, они лучшать кабинет;
Заключение
У UX Rocket есть плюсы и минусы. Но в сухом остатке, использование инструментов платформы (AB-тестов, ML-аналитики, карта движения пользователей) , помогает выявить слабые места на сайте и/или приложении. И оптимизировать их на основе цифр, а не субъективного мнения команды.
Принимать решение на основе аналитики — это продуктовый подход, который может отсутствовать, даже в крупных компаниях. А у вас в команде появляются задачи “мне кажется, что такой функционал точно нужен нашим клиентам и давайте ещё сделаем кнопку красной”?))
В рамках среднего и крупного бизнеса, увеличение конверсии даже на доли процентов, в сумме дают прибыль в сотни тысяч и миллионы рублей. Это “низко висящие фрукты”, к которым нужно только протянуть руки; )
Если обзор был полезен — ставьте лайк и пишите комментарии.
Подписывайтесь на мой канал по продакт-менеджменту, там много личного опыта в профессии, предпринимательстве, создании контента и технологиях
Раньше с подобными системами сталкиваться не приходилось, поэтому такие статьи на вес золота! Все понятно и доступно, с кейсами, примерами и т.д. Большое спасибо за отличный материал :)
Спасибо за детальный кейс! Я правильно понимаю, что решение скорее для enterprise?
Да, система заточена под энтерпрайз, нежели под малый бизнес. Ранее у них были тарифы (я пробовал в мае) для малого бизнеса, но на данным момент отключили
понравилось описание, присмотрюсь
K UX ракете)) Уже смотрели подобные платформы и
"неожиданно" оказывалось, что они не то ,чтобы нормально тестируют и анализируют😅но мы требовательные))