Как приоритезировать маркетинговые эксперименты и построить устойчивый процесс Growth Marketing: уроки от HubSpot

Меня зовут Ярослав Степаненко, я сооснователь Growth Marketing Stage, которая пройдет 8-9 Апреля в Киеве.

У нас часто выступают спикеры из таких именитых компаний как Booking.com, Uber, HubSpot и другие.

Я подготовил материал о маркетинговых экспериментах на основе доклада Дэвида Ли Кима, Senior Growth Marketing Manager в HubSpot.

Представьте себе, вы обнаружили, что ваш бизнес или какой-то его сегмент ваших платящих клиентов перестал активно развиваться. Логичный шаг с вашей стороны — провести исследование относительно того, как вы можете преодолеть плато в развитии и увеличить свою прибыль.

Вы начинаете читать десятки блог-постов и приходите к тому, что за окном 2020 год, все стремительно трансформируют классический маркетинг в growth marketing и нужно проводить больше маркетинговых экспериментов.

Далее вы гуглите «маркетинговые эксперименты», чтобы посмотреть, что работает, а что — нет, формируете 20 экспериментов, которые вам нужно запустить, и стартуете.

Спустя неделю вы просматриваете KPI, и… ничего не изменилось. Никаких всплесков трафика, улучшения качества лидов, нет прироста новых пользователей и дохода. Другими словами: воронка продаж осталась на том же уровне.

Потом, снова копнув в исследование, вы узнаете, что на самом деле большинство экспериментов не срабатывает и нужно продолжать пытаться и запускать их больше и больше.

Проходит еще немного времени, снова смотрите на результаты экспериментов и…. Ни один из них не приводит к положительной динамике роста.

Очень часто, когда компании разворачивают свои маркетинговые усилия в сторону проведения экспериментов, они пытаются копировать успешные кейсы других бизнесов, что приводит к проведению экспериментов ради их проведения.

HubSpot — это крупная, быстрорастущая компания с множеством продуктов и команд, поэтому проведение экспериментов — весьма сложный процесс. В его основе лежит функционирование команды роста (growth team), ключевой задачей которой является проведение экспериментов на основе собственных данных и собственных гипотез.

Команда роста в HubSpot управляет и несет ответственность за всю воронку продаж: от момента, когда пользователь впервые сталкивается с продуктами HubSpot (зачастую бесплатными) до момента оплаты (монетизации пользователя).

Итак, углубимся в то, как команда HubSpot думает об экспериментах и процессе их приоритезации (какие эксперименты стоит проводить а какие — нет).

Есть несколько очень точно определенных целей, ради достижения которых команда роста в HubSpot проводит маркетинговые эксперименты:

• улучшить взаимодействие пользователя с продуктом;
• увеличить число людей, подписавшихся на бесплатные версии продукта;
• поощрять пользователей за активное использование продукта;
• стимулировать пользователей переходить на платные версии продукта.

Проведение контролируемых экспериментов позволяет быстро замечать и реагировать на улучшения или ухудшения ключевых метрик и принимать решения на основе как качественных, так и количественных данных.

• Думать целостно:

По большому счету, эксперименты проводятся по двум причинам: для оптимизации конверсии и чтобы узнать, как новые переменные влияют на общую картину производительности.

В обоих случаях, экспериментальную когорту необходимо отслеживать целостно.

Например, если мы хотим улучшить конверсию в регистрации, то при проводимом эксперименте нам необходимо также смотреть и на процент активации и монетизации когорты. Если же мы работаем над улучшением уровня монетизации, необходимо также анализировать процент удержания (retention) и оттока пользователей (churn rate) из анализируемой когорты.

• Думать гипотезами:

Маркетинговый эксперимент должен базироваться на гипотезе, основанной на глубоком понимании пользователя.

Твердая и понятная гипотеза дает опору для обсуждений и определений, какие именно эксперименты нужно запустить для решения той или иной проблемы.

В HubSpot есть правило — перед стартом эксперимента нужно иметь четкий и ответ на вопрос: «Что должно оказаться истиной/быть доказанным, чтобы эксперимент мог быть определен как успешный?»

Применяйте это правило при запуске своих экспериментов.

Документация играет важную роль в процессе экспериментов. Работа над детальным описанием эксперимента заставляет нас ответить на вопросы:

• Зачем/почему мы проводим тот или иной эксперимент?
• Какой результат мы ожидаем получить?
• Стоит ли проводить именно этот эксперимент сейчас?

Так выглядит документация по экспериментам команды роста в HubSpot.

Она всегда включает в себя следующее:

• исследования, проведенные при подготовке к эксперименту;
• гипотезы, на которых базируются эксперименты;
• конечные цели эксперимента;
• графики, которые которые визуализируют результаты;
• и ответ на тот самый вопрос — «Что должно оказаться истиной/быть доказанным, чтобы эксперимент мог быть определен как успешный?».

Документация должна быть легкодоступной для всех сотрудников компании и легкой в управлении для тех сотрудников, которые с ней работают. Для решения этих двух задач HubSpot использует Airtable. Этот инструмент хорошо подходит для того, чтобы сделать документацию максимально открытой для сотрудников компании, а также имеет шаблоны запуска и управления экспериментами.

ВАЖНО: Маркетинговый эксперимент — это серия итераций, а не разовый процесс. Поэтому следует регулярно возвращаться к документации как для ее наполнения, так и для изучения прогресса самого эксперимента.

Как и в случае с документацией, следует использовать итеративный процесс для определения и приоритезации экспериментов. Последовательность итераций описана ниже.

Глядя на то, как проводят эксперименты другие компании, процесс не кажется сложным. Но копирование только навредит. Если ваш эксперимент не основан на гипотезе о собственном продукте и пользователе, то это, в лучшем случае, беспорядочные активности без четкой цели.

Итак, стоит всегда начинать с формирования гипотезы, которая утверждает, что мы считаем будет правдой о наших клиентах/для них. Эта гипотеза должна лежать в основе всех идей эксперимента, которые мы брейнштормим, и общего дизайна нашего эксперимента.

Первое правило продуктивного брейншторма — не бывает глупых идей. Это должны понимать все участники сессии и делиться своими идеями, не опасаясь быть подвергнутыми критике. Другими словами — ноль ограничений в идеях.

А вот что послужит хорошим фильтром идей, так это, опять таки, — гипотеза и четко определенные метрики, которые вы хотите улучшить в рамках эксперимента. Чем точнее сформулирована гипотеза и расписаны улучшаемые метрики, тем лучше будут условия для мозгового штурма и тем меньше будет не релевантных идей.

Например, представьте, что вы менеджер продукта в Spotify и хотите увеличить количество проданных билетов на местные концерты. Вероятно, вы составите список нескольких путей, которые ведут к желаемому действию — бронированию билета:

• Открыть письмо о ближайшем концерте >>> совершить клик чтобы узнать детали концерта >>> купить билет.
• Прослушать песню в Spotify >>> просмотрите страницу исполнителя >>> просмотрите вкладку Концерты артистов >>> кликнуть на предстоящий концерт >>> купить билет.
• Пользователь интересуется местными концертами >>> открывает Spotify >>> кликает на вкладку Концерты >>> переходит в просмотр предстоящих концертов >>> покупает билет.

Рассматривая только эти три пути, сессия мозгового штурма может быть основана на привлечении большего количества людей к:

• открытию имейлов о ближайших концертах + совершение клика (click through).
• просмотру вкладки Концерты.
• кликам на предстоящие концерт, чтобы получить более подробную информацию.

При этом сценарии веб-сайт, на котором можно приобрести билет, — это сторонний сервис, такой как Ticketmaster, которую Spotify не может контролировать.

Следующим шагом после сеанса мозгового штурма стоит обсудить все полученные идеи и определить список экспериментов, которые кажутся уместными для них.

У каждой идеи должен быть ответственный человек (DRI), который отвечает за исследование эксперимента.

На этапе исследования вам необходимо углубиться в данные и понять имеет ли идея смысл.

Исследование формирует скелет для документации по экспериментам потому что оно формирует вашу гипотезу и ее цель, помогает спрогнозировать результат эксперимента и дать определение того, когда он может считаться успешным.

В HubSpot исследования для эксперимента могут включать использование Amplitude для сбора продуктовых инсайтов, создание отчетов в Google Analytics, анализ предыдущих экспериментов и проведение интервью с пользователями. Процесс исследования всегда будет выглядеть по-разному в зависимости от вашего бизнеса и инструментов, которые вы используете.

Качественное исследование поможет определить потенциальное влияние конкретной улучшенной метрики на бизнес в целом. В процессе исследования вы также можете начать продумывать новые эксперименты и прорабатывать оценку того, сколько усилий потребуется для запуска эксперимента.

Усилия стоит оценивать по, как минимум, таким критериям::

• Выравнивание с другими командами: Какая часть работы повлияет на другие команды? Сколько команд вам нужно вовлечь?
• Получение бай-ин: На сколько высоко влияние на весь продукта и на какое количество покупателей повлияет эксперимент? Кто должен согласиться, что это точно стоит делать?
• Технические ограничения: Насколько сложными могут оказаться технические проблемы? Нужно ли «копаться» в репозитории других команд?

Имея эту оценку, вы сможете решить, например: «Этот эксперимент не имеет смысла. Потенциал низкий, и он требует слишком больших усилий». Или наоборот: «Мы обязательно должны провести этот эксперимент. Усилия минимальны, а потенциальное влияние на метрику очень сильное».

На этом этапе вы просто указываете, почему вы проводите выбранный эксперимент. Это может быть, например, улучшение отдельного показателя, что приведет к улучшению показателей воронки продаж, а значит — к увеличению $$$.

Как только вы прояснили гипотезу, следует переходить к разработке эксперимента, проведение которого определит верна ли гипотеза.

Создание эксперимента включает в себя определение и создание следующего:

• Количество используемых переменных;
• Создание копи и дизайна;
• Аудитория, на которую «выкатываться» эксперимент;
• Как будет отслеживаться и измеряться эксперимент;
• Как долго будет проводится эксперимент, и определения момента достижения статистической значимости.

Имейте в виду, что неудачный эксперимент не обязательно означает, что гипотеза неверна. Есть несколько способов проверить гипотезу. Один неудачный эксперимент может просто означать, что конкретная гипотеза ложна в конкретном случае.

Как уже упоминалось выше, эксперименты обычно проводятся для улучшения отдельно взятых показателей. И не составляет труда объяснить, как эксперимент может улучшить простую метрику, такую как частота кликов, например. Но влияние эксперимента всегда должно быть привязано к росту бизнеса ($$$).

В примере с улучшением частоты кликов, нужно иметь понимание приводит ли это к большему количеству $$$? Если да, то на сколько?

• Если наша гипотеза верна, мы ожидаем 10-процентное улучшение показателя кликов по кнопке «узнать больше». Предполагая, что все остальные точки конверсии остаются постоянными, мы ожидаем, что это приведет к еще 20 покупкам в неделю. При средней цене продажи в $50, это означает $4000 MRR (monthly recurring revenue) в месяц.

Если вы работаете над такими метриками как регистрация новых пользователей в продукте с моделью Freemium, то пример ниже может быть релевантен:

• Если наша гипотеза верна, мы ожидаем 5% улучшения заполнение формы на странице регистрации. Предполагая, что трафик на страницу остается неизменным, мы ожидаем, что это приведет к еще 100 регистрациям в день.

Если у вас есть больше данных, таких как скорость перехода с бесплатной версии в платную и средняя цена продажи, вы можете спрогнозировать доход.

По мере того, как вы проходите процесс проведения исследования и создания эксперимента, легко утратить фокус с того, почему мы хотели запустить эксперимент в первую очередь.

В экспериментальной документации у вас всегда должен раздел, который количественно определяет успех. Например, успех может быть как улучшение отдельного показателя на определенный процент или получения ответа на конкретный вопрос.

После того, как эксперимент проведен и задокументирован, стоит поделится результатами и собрать обратную связь с коллегами.

Вы можете получать такие вопросы (будьте готовы иметь ответы на них):

• Какие данные у нас есть, чтобы поддержать эту гипотезу? Почему мы верим, что это правда?
• Как достижение этой цели помогает нам сделать шаг к достижению целей компании?
• Как мы будем отслеживать эффективность? Есть ли другой, менее ресурсоемкий способ проверки гипотезы?
• Это лучший показатель для измерения успеха?
• Это предсказание реалистично?

Обратная связь команды всегда важна. Тем не менее, всегда стоит сосредотачиваться на эксперименте, а не на бесконечном обсуждении мелочей. Такой риск всегда есть.

Из проведенного исследования и обсуждения вы получаете представление о потенциальном воздействии и усилиях, необходимых для запуска эксперимента.

Затем вы проводите эксперимент и…

Как только эксперимент завершен, ответственный за него сотрудник должен провести анализ данных и продемонстрировать результаты команде, которая участвовала в эксперименте.

ВАЖНО: избегайте неправильного использования анализа данных при поиске паттернов данных, которые могут быть представлены как статистически значимые. Этот процесс известен как p-hacking.

Чтобы избежать p-hacking, важно:

• Иметь скрупулезный процесс создания эксперимента (описан выше)
• Определить как долго мы будем проводить эксперимент

какой объем выборки нам нужно собрать

• Быть на 100% прозрачными при анализа данных

Несколько методов p-hacking включают в себя:

• Прекратить сбор данных после получения желаемого результата (где p <0,05)
• Исключить точки данных, чтобы получить данные для отображения желаемого результата (где р <0,05)
• Преобразовать данные, чтобы получить желаемый результат, где (р <0,05)

О p-hacking написано несколько полезных историй:

• Experiments at Airbnb – Airbnb Engineering & Data Science – Medium
• P-Hacking, or Cheating on a P-Value – Freakonometrics
• False-Positives, p-Hacking, Statistical Power, and Evidential Value – Leif D. Nelson [pdf]

В HubSpot есть правило — команды встречаются каждую неделю, чтобы обсудить результаты экспериментов и следующие шаги.

Каждый рассказывает о своем эксперименте, повторяя гипотезу, цель эксперимента, почему было решено провести этот эксперимент, результаты, полученные знания и следующие шаги.

Команда изучает данные и тратим время на обсуждение возможных последствий результатов.

Эти встречи — один из самых сильных источников новых идей для следующих экспериментов.

Автор: Ярослав Степаненко, сооснователь Growth Marketing Stage.