Как провести AB-тест на автоматизацию продаж и не уронить конверсию
В прошлом году мы узнали, что часть занятий в китайских онлайн-школах ведут цифровые двойники преподавателей. В этом уже моя команда решила заменить бесплатный вводный урок по английскому на автоматическую версию. Мы придумали безопасный способ это сделать и нашли дополнительную прибыль.
Наш отдел отвечает за бесплатные вводные уроки от Skyeng: в назначенное время через нашу видеоплатформу с потенциальным учеником созванивается специально обученный преподаватель, который оценивает уровень языка и предлагает программу и соответствующий пакет занятий. Мы с командой отвечаем за оптимизацию метрики Customer Sales Costs (CSC) — это затраты на продажу пакета услуг одному клиенту.
В пиковые моменты нам стало не хватать ресурса преподавателей для вводных уроков
Время от времени происходят всплески количества заявок на вводные уроки, которые нельзя спрогнозировать и удовлетворить в полном объёме.
Известно, что не каждая заявка конвертируется в оплату. В 2019-м у школы появился скоринг — алгоритм, который на основе поведения пользователя на сайте и исторических данных по пользователям с похожим поведением прогнозирует вероятность совершения покупки. Если прогноз «зеленый» — скоринг отправляет на вводный урок, если «красный» — не отправляет.
Но мы же обещаем всем бесплатный урок, и пользователям с «красной» меткой скоринга тоже. Для них придумали недорогой способ сдержать обещание — автоматический вводный урок: без преподавателя, без звонков менеджеров, без допродажи после урока.
Продукт для холодного трафика выглядел как набор из нескольких слайдов:
- анкета на выявление интересов, целей и опыта ученика,
- экспресс-тест на уровень знания английского языка,
- знакомство с Vimbox — платформой, на которой проходят занятия,
- видео с блогером Таней Стариковой с ютуб-канала Skyeng, которая уточняла: «Сегодня здесь я, а завтра будет ваш настоящий преподаватель»,
- набора рекомендуемых курсов и витрины оплаты (на всякий случай).
Отслеживая, что происходит с пользователями, которые проходили автоматический вводный урок, мы увидели оплаты. В команде появился локальный мем: «Автоурок настолько хорош, что продает даже тем, кто никогда не должен был купить».
С тех пор не отпускала мысль: «А что если так можно было и с горячими пользователями?»
Продукт, который не должен был генерить деньги, генерит их. Будем тестировать дальше?
Очень хотелось протестировать автоурок в полноценном АВ-тесте на теплом трафике.
Но каждый эксперимент — это риск упущенной выгоды за время его проведения. В нашем случае — радикальный. Какую конверсию можно ожидать в худшем случае, заменив проверенный путь с участием менеджеров и отрабатывающих возражения преподавателей на несколько слайдов и видео с блогером? Нулевую. Кроме того, вводный урок встречает пользователя в самый ответственный момент, когда он формирует первое впечатление о школе и продукте.
Мы посчитали этот риск в деньгах и нам не понравилось. Поэтому придумали заложить в дизайн подстраховку — отправлять тестовую группу на автоматический урок, но если оплаты не произошло, подхватывать пользователя — звонить и предлагать пройти обычный урок с преподавателем.
Таким образом сохранялась возможность замерить конверсию в первую оплату на автоматическом уроке на малых окнах (до подхвата) и сравнить её с контролем на идентичном малом окне. И в то же время исчезал основной риск нулевой конверсии из-за радикальной замены преподавателя на несколько слайдов с видео. Такой дизайн эксперимента казался приемлемым.
В этом решении тоже были риски, но уже не такие существенные. Мы удлиняли и усложняли пользовательский путь до оплаты, добавляя в него автоурок перед обычным. Экспертно казалось, что это может занизить конверсию по сравнению с контрольной группой. Но основной риск мы убрали, и запустили тест.
Идет вторая неделя эксперимента, мне пишет продакт: «Что-то не то с метриками»
Эксперимент был рассчитан на 3 недели набора новых пользователей и плюс 14 дней для закрытия конверсионных окон для подведения окончательных итогов.
Мы мониторим запущенные эксперименты по дашбордам, следим, не просела ли ключевая метрика — конверсия в первую оплату. Первая мысль, когда написал продакт: «Всё упало, тест придётся останавливать».
Но беспокойство вызвало не падение, а наоборот, стабильный рост ключевой метрики в тестовой группе по сравнению с контрольной. Мы не предполагали возможность роста конверсии из заявки в оплату, и это действительно выглядело странно.
Что делает аналитик в таких случаях? Перепроверяет дашборд, датасорс, на котором он построен, честность сплитования и всё-всё, что можно проверить. Проверили. Всё корректно. Так как это были предварительные результаты и только середина теста — мы не стали сильно радоваться, списали на случайность и стали мониторить дальше.
Каждый оставшийся день мы ожидали начала обратной тенденции. Но этого не произошло.
Эксперимент завершился. Окончательные итоги — тестовая группа выигрывает у контрольной по ключевой метрике отдела конверсия заявка в оплату на 2,13 процентных пункта.
Что такое 2 процента в рамках крупнейшей онлайн-школы Европы? Мы прикинули на цифрах 2019-го года — зная скорость роста школы, profit per user, доверительные интервалы — получились десятки миллионов дополнительной прибыли в год.
Но за счет какого подэтапа воронки выросла ключевая метрика? Конверсия заявка-оплата состоит из двух этапов: заявка-урок и урок-оплата. Рост сквозной конверсии за счет этапа заявка-урок означает, что мы увеличили затраты на преподавателей. В таком случае для принятия решения о раскатке эксперимента мы должны сравнить не только конверсии в группах, но и CSC. Но в нашем случае рост сквозной конверсии происходил за счет этапа урок-оплата. Это говорило о том, что мы выводили такое же количество учеников на урок, сохраняли те же расходы на преподавателей, но попав на обычный урок после автоурока, пользователи покупали чаще.
А вот конверсиях на малых окнах (покупка на автоматическом уроке) показала себя не так хорошо.
И что, в итоге бездушная автоматика победила?
Автоматический вводный урок оказался не настолько хорош, чтобы полностью снять потребность в преподавателях на этапе продажи. Но оказался прекрасным инструментом для прогрева пользователей перед покупкой. Мы встроили его в онбординг и проверили уже в рамках другого эксперимента — самостоятельного бронирования времени вводного урока без звонка от оператора. Эксперимент оказался успешным и был раскатан на весь трафик.
Я очень рада, что мы решились протестировать гипотезу, которая казалась рисковой.
Если в бэклоге вашей команды есть что-то, что кажется «не очень», но есть ощущение, «а вдруг оно сработает», проверьте. Возможно, это та самая вещь, которая будет приносить пользу, деньги и сломает парочку ваших стереотипов. Рискните!
p.s. Пост основан на докладе Евгении Киселевой.
Классный кейс! интересно узнать про сам автоурок: исследовали причины его конверсии в автооплаты? есть планы по её развитию?
Лучше всех на автоуроке конвертились рефералы. Трактуем это как то что есть супер лояльное ядро аудитории, которые готовы платить сразу. Сейчас для таких пользователей у нас есть возможность оплатить даже без автоурока
Так, а почему 0 комментов? Статья ведь крутая, очень грамотно команда подошла, думаю даже посмотреть как это работает вживую сейчас у вас)
Нет негатива - мало комменов обычно. С одной стороны приятно, с другой - круто было бы и благодарить, ведь ребята сделали реально крутой кейс!
Старикова главный фактор)
Мы тоже считаем, что Таня сыграла значительную роль в успехе)
А мне больше Дэни нравится!
Спасибо, стало любопытно проверить, как это работает самим. Интересно было бы узнать подробнее про "покупку на автоматическом уроке", была ли польза только от такого урока и насколько “не так хорошо” он себя показал.
В несколько раз конверсия на автоуроке ниже по сравнению с обычным уроком на коротких окнах